![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
流浪中的UncleLivin
这个作者很懒,什么都没留下…
展开
-
python爬虫(二):爬虫效率提升
文章目录1 需求描述2 方法说明2.1 多进程2.1.1 multiprocessing2.2 多线程3 实战记录4 参考资料1 需求描述爬取较多数据时如何避免用时过长,时下通用方式主要为多进程和多线程两种。2 方法说明2.1 多进程2.1.1 multiprocessing2.2 多线程3 实战记录4 参考资料multiprocessing — 基于进程的并行...原创 2020-05-29 18:08:10 · 464 阅读 · 0 评论 -
python爬虫(一):正则表达式爬取网页文本
1 正则表达式修饰符描述re.I使匹配对大小写不敏感re.M多行匹配,影响 ^ 和 $re.S使 . 匹配包括换行在内的所有字符re.U根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.re.X该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解2 网页文本爬取最近在比比电子招投标交易平台浏览商机信息时发现,大部分的招标投信息都有相同的内容版块,但招投标内容格式又不尽相同。2.1 单页文本单页文本爬取可通原创 2020-05-17 18:50:11 · 5705 阅读 · 0 评论 -
python notes(一):pandas合并多个excel文件
1 需求描述从指定文件目录下筛选出后缀格式为xlsx的文件,并借助pandas合并文件内容。2 代码实现import pandas as pddef excel_merge(): # ---------文件准备------------ # filenames = os.listdir(os.getcwd()) writer = pd.ExcelWriter(r'采购成交信息表.xlsx') excel_files = [] for filename in fi原创 2020-05-08 19:21:46 · 715 阅读 · 0 评论 -
python踩坑日记
利用CMD命令进行Python第三方库的安装及更新待安装完成Python3.X和Python2.7后,菜鸟迫不及待准备上手Pycharm以便大展拳脚,然而各种第三方库无法直接成功安装,没办法,无奈选择老办法。1.Pip安装确认%路径确认%C:\Users\Administrator>cd E:\Python\Scripts%Pip安装情况确认%C:\Users\Admini...原创 2018-08-09 15:58:08 · 427 阅读 · 0 评论