- 博客(190)
- 资源 (5)
- 问答 (6)
- 收藏
- 关注
RSS订阅
原创 勇气--------对于成人更难能可贵
小时候一直不懂为什么数码宝贝的徽章第一位是勇气？直到现在才切身体会，人一定不能没了勇气，哪怕再难再苦也要去面对，也许最后你还是没能解决，还是失败，但至少你这次没有选择逃避，这就是勇气的萌芽！多少人身处安逸，时常抱怨，却还是迟迟迈不出改变的那一步，他们时而哀叹时而彷徨，不敢放弃眼前苟且的生活，因为他们害怕失去明天，他们常常担忧错过了这份生活，会不会变成更坏的生活，今日很苦，明天更苦，但后天很美好...
2018-08-14 20:58:56
549
3
原创 遇见HTML 实体编码文本内容并解密
根据实体编码表，"其" 对应的字符是 "位"，"持" 对应的字符是 "元"，"有" 对应的字符是 "所"，"公" 对应的字符是 "佄"，"司" 对应的字符是 "构"，"股" 对应的字符是 "鹅"，"票" 对应的字符是 "悸"。HTML 实体编码过的文本。HTML 实体编码是一种将特殊字符转换为实体编码（entity encoding）的方法，通常用于在 HTML 页面中显示特殊字符而不会被解释为 HTML 标记。综合起来，这串编码代表的文字是 "位元所佄构鹅悸"。
2024-03-01 15:57:09
599
原创 python pandas对某列数据根据条件替换相应内容
有两种实现方式：1匿名函数df['address'] = df['address'].apply(lambda row: row if row.endswith("法院") else row+"法院")print(df['address'])2where条件df["address"] = np.where(df["address"].str.endswith("法院"), df["address"],df["address"]+"法院")print(df['address'])
2022-03-01 14:32:19
3892
原创 越想越气，博客提问分配酬金是不是有问题
特么最烦那些提问上链接，一句话不说，难道天生是哑巴吗，粘贴过来的还是别人的，何况明明一个有效回答都没有，还分配给他们，那些垃圾菜鸡，不知道就瞎胡说，答非所问，气死我了，我愤怒，我抗议，这不公平的机制...
2022-02-23 11:04:30
202
原创 关于大批量数据快速更新的代码分享
由于某些场景需求需要涉及到大批量数据更新，于是我在问答开始付费征求秒级处理数据的思路，但是一无所获，于是我自己便写了一版效率不是很高但是勉勉强强还能使用 for i in range(0,len(data),10000): #分批次预处理数据,一次一万条 solve_data =data.iloc[i:i+10000,:] # print(solve_data) try: id_list = tuple(so
2021-12-15 14:16:00
368
原创 python 读取pdf文件内容
from pdfminer.layout import LAParams, LTTextBoxfrom pdfminer.pdfpage import PDFPagefrom pdfminer.pdfinterp import PDFResourceManagerfrom pdfminer.pdfinterp import PDFPageInterpreterfrom pdfminer.converter import PDFPageAggregatorfrom pdfminer.convert.
2021-11-22 09:57:27
1187
原创 关于不同数据用pandas来比较，并生成结果
import jsonimport pandas as pdimport numpy as npimport requestsfrom lxml import etreedef resolveJson(path): file = open(path, "rb") fileJson = json.load(file) data_list = [] for i in fileJson: first_name = i['name'] .
2021-11-17 15:23:52
959
原创 DeprecationWarning: find_element_by_* commands are deprecated. Please use find_element()解决
老版本，已经被弃用，很快就失效了 driver.find_element_by_xpath("//input[@id='keyword']")需要改成下面的这样格式driver.find_element(By.XPATH, "//input[@id='keyword']")
2021-11-15 15:00:24
5113
原创 mysql去重，根据唯一字段来去重保留任一条
DELETE FROM `gov_departmental_documents` WHERE title IN (SELECT a.title FROM (SELECT title FROM gov_departmental_documents GROUP BY title HAVING COUNT(title) > 1) AS a)AND id NOT IN (SELECT b.aa FROM (SELECT min(id) AS aa FROM gov_depart.
2021-07-05 17:24:06
371
原创 gitlab建立分支并上传本地项目
1git branch 分支名2git checkout 分支名3git add .4git commit -m "提交的信息"5git remote add origin 远程仓库地址6git push -u origin 分支名
2021-05-25 15:14:34
367
原创 python 正则匹配字符串中括号[]中内容
import restring = '已在[东营港]起航'data = re.findall("\[(.*?)\]",string, re.I|re.M)[0]print(data)
2021-05-18 11:13:47
4384
原创 Python读取mat文件并转换为dataframe格式数据
from scipy.io import loadmatimport pandas as pdfilename = r'D:\python_project_lzz\a1405.mat'data = loadmat(filename)dfdata = pd.DataFrame(data=data['data'][1:],columns=['date','time','open','high','low','close','volume','amount','position']).astype(s.
2021-04-20 14:28:44
2073
原创 批量修改文件名称
import osfiles = os.listdir("D:/pdf/")#获取当前目录下的文件for filename in files: os.rename(filename, filename+'.pdf')#修改
2021-04-02 17:27:40
75
原创 运行scrapy pipelines ModuleNotFoundError解决办法
说明在该前环境并没有安装这第三个包在当前环境重新安装在Terminal 命令框输入以下指令pip3 install 第三方包查看相关包的版本号scrapy version -v
2021-03-05 10:49:13
213
1
原创 Python 打印输出当天每一秒时刻具体到毫秒的函数
from datetime import datetime,timedeltaimport timestartdate = '09:00:00.499'end = '15:23:20'i = 0.5while True: date = (datetime.strptime(startdate, '%H:%M:%S.%f') + timedelta(seconds=i)).strftime('%H:%M:%S.%f') end_time = date.replace(':','').
2021-01-29 14:05:43
847
原创 解决2143replace或者3125replace等中间跳转页面的问题
这是因为给你篡改你网页书签的后缀名导致的，如下图：这是由于在下载一些病毒软件给你篡改书签导致的，具体详细解释看这个：https://www.zhihu.com/question/263958523
2020-11-24 14:58:57
2971
原创 Python爬虫：中国结算，关于新开股票账户数等参数数据的爬取
1数据来源：http://www.chinaclear.cn/zdjs/tjyb1/center_tjbg.shtml2获取内容 ：09到至今的主要指标概览数据内容3可参考代码，直接用就行import requestsimport reimport datetimedef get_month_range(start_day,end_day): months = (end_day.year - start_day.year)*12 + end_day.month - start_
2020-11-20 10:09:12
721
原创 Python Qt Designer功能详细介绍
一，图表对应介绍：二，详细介绍2.1 Layouts 布局2.2 Vertical Layout 纵向布局2.3 Horizontal Layout 横向布局2.4 Grid Layout 栅格布局2.5 Form Layout ...
2020-11-12 11:22:15
3131
1
原创 当你的才华还撑不起你的野心时,那你就应该静下心来学习
人生苦短，在这物质恒流的社会，我们保持初心更是不易，人人都想发大财，但是满脑子天天空想是毫无意义的，所以必须脚踏实地的丰富自己，比方说提高自己的学历，懂得人情世故把情商提高提高，扩大自己的交际圈，多出去外面走走，开阔下自己的视野。当你的才华还撑不起你的野心时,那你就应该静下心来学习，不断提高编程技术是每个程序员必做之事，如果没有一个好学的心，迟早被这个社会残酷淘汰。加油，老骥伏枥志在千里，年龄不是问题，好好学习，追逐梦想！...
2020-10-14 11:12:36
586
1
原创 Python Sep 14, 2020 2:37:48 PM格式转换为正常的时间格式
import timedate = 'Sep 22, 2020 1:52:24 PM'.replace(' AM','').replace(' PM','')newdate = time.strptime(date, '%b %d, %Y %H:%M:%S')# 转换为时间戳timestamp = int(time.mktime(newdate))print(timestamp)# 1600710744# 转换为正常时间time2 = time.strftime("%Y-%m-%d", t.
2020-09-30 15:31:15
1420
原创 国内pip源
豆瓣(douban) -i http://pypi.douban.com/simple/清华大学 -i https://pypi.tuna.tsinghua.edu.cn/simple/阿里云 -i http://mirrors.aliyun.com/pypi/simple/中国科技大学 -i https://pypi.mirrors.ustc.edu.cn/simple...
2020-09-23 16:43:52
374
原创 pandas 将多个DataFrame.to_excel写入不同的Sheet
话不多说直接上代码：path = r"C:\Users\Administrator\Desktop"if not os.path.exists(path): os.mkdir(path)path1 = path + r'\test.xlsx'book = xlrd.open_workbook(r'C:\Users\Administrator\Desktop\多个sheet的测试数据表.xlsx')with pd.ExcelWriter(path1) as writer:..
2020-09-23 14:13:26
1592
原创 pandas处理时间的方式
data1['date'] = pd.to_datetime(data1['date'], format='%Y-%m-%d') data1['date'] = data1['date'].apply(lambda x: x.strftime('%Y%m%d'))
2020-09-22 16:57:54
229
原创 两个dataframe比较，取两个不共有的数据
import pandas as pdtable1 = r'C:\Users\Administrator\Desktop\result2.xls'data1 = pd.read_excel(table1, sheet_name = 2)df1 = pd.DataFrame(data1.iloc[:,[0,1,2,3,4,5]], columns=['company','city','strategy','fund_name','manager_name','fund_id'])table2 = .
2020-09-21 09:30:37
2261
原创 mysql 分组取最新数据（两种方法）
第一种较慢select competition_product_id,add_time,total_net_worth,total_earning from net_worth as b where not exists(select 1 from net_worth where competition_product_id= b.competition_product_idand b.add_time<add_time)第二种贼快select t.competition_produ
2020-09-18 17:52:57
710
原创 将多个数据存入excel不同的sheet表
直接上代码#这个是我桌面的位置path = r"C:\Users\Administrator\Desktop"if not os.path.exists(path): os.mkdir(path)path1 = path +r'\full_table.xls'with pd.ExcelWriter(path1) as writer: acn_data.to_excel(writer, sheet_name='Sheet1') afn_data.to_excel(w
2020-09-18 14:54:56
1210
原创 pandas 打卡第三天
1np.r_ 在下方堆栈 np.c_在一侧堆栈 import pandas as pdimport numpy as nparr = np.arange(6)arr1 = arr.reshape((3,2))arr2 = np.random.randn(3,2)print(np.r_[arr1, arr2])print(arr)print(np.c_[np.r_[arr1,arr2],arr])print(np.c_[1:6,-10:-5])2重复元素：title和re.
2020-09-03 11:19:20
86
原创 用Python暴力破解压缩文件 zip 密码
话不多说直接上代码：import zipfile, osfrom itertools import product# chars = 'abcdefghijklmnopqrstuvwxyz012345678ABCDEFGHIJKLMNOPQRSTUVWXYZ!@#$%^&*()_+|~{}<>'chars = 'abcdefghijklmnopqrstuvwxyz012345678ABCDEFGHIJKLMNOPQRSTUVWXYZ'def bruteforce(zfile
2020-09-02 14:38:38
1124
1
原创 Python 爬虫http协议详解
请求头参数及说明：Accept表示浏览器支持的 MIME 类型；MIME的英文全称是 Multipurpose Internet Mail Extensions（多功能 Internet 邮件扩充服务），它是一种多用途网际邮件扩充协议，在1992年最早应用于电子邮件系统，但后来也应用到浏览器。text/html,application/xhtml+xml,application/xml都是 MIME 类型，也可以称为媒体类型和内容类型，斜杠前面的是 type（类型），斜杠后面的是 subty..
2020-08-27 15:15:40
267
原创 pandas学习笔记打卡第二天
1 字符串分割val = 'a,b , guido'print(val.count(','))pieces = [x.strip() for x in val.split(',')]print(pieces)a = '::'.join(pieces)print(a)2向量化字符串例子：数据里是否每一个都包含gmaildata = {'Dave':'[email protected]','Steve':'[email protected]','Rob':'[email protected]
2020-08-18 12:48:33
140
原创 pandas学习笔记打卡第一天
测试数据：fund_result.csv1 pandas读取csv文件import pandas as pdresult = pd.read_csv(r'D:\python_project_lzz\fund_result.csv')print(result)2 只读取部分行（前5行）result = pd.read_csv(r'D:\python_project_lzz\fund_result.csv',nrows=5)print(result)3 使用to_c..
2020-08-13 15:18:04
143
原创 pandas处理数据得到相关系数均值（去除含有nan的任何行任何列，只算都有数据的）
具体代码就不贴了，因为都是连的公司的数据库，只说做法1先实现一个pivot_table表，group_data是我分组后取得数据group_data['value'] = group_data['singlereturn'].astype(np.float)group_data['code'] = group_data['fund_id']group_data['date'] = group_data['statistic_date'].apply(lambda x: x.strftime('
2020-08-11 11:21:54
1300
原创 蘑菇代理调用函数，可以申请试用，给你个url，然后直接用我写好的函数
def proxy_api_get():#下面连接写你的会员url，我的给去掉了 targetUrl = "" resp = requests.get(targetUrl) if resp.status_code == 200: try: b = json.loads(resp.text) data = b['msg'] for proxy in data: p.
2020-08-04 11:22:40
266
101_formulaic_factor.rar
2019-10-21
101_formulaic_1-40_factor.py
2019-10-17
openbilibili-go-common-master.zip
2019-08-01
关于郑商所服务 > 易盛商品指数 > 指数行情的爬虫
2024-01-18
如何进行python的API接口开发
2022-06-14
python 读取数据库上亿级数据如何去重呢
2022-02-15
python批量更新mysql,还要注意避免溢出，处理千万级别的数据
2021-11-26
多线程爬虫，url唯一，但是传的data不一样，如何来实现
2021-10-27
国家企业信用信息系统，有没有可以爬到详情页的具体内容
2021-10-26
python dataframe如何按行数分组
2021-05-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人