大家好,我是淘小白~
之前有朋友让我整一个按照头条号来采集数据的采集规则,因为反爬的原因,使用火车头采集起来受限比较多,所以,就用python写了一个脚本软件出来。
今天来和大家简单说明一下:
1、脚本语言:python
2、脚本逻辑,python驱动浏览器---- 提取作者列表url ---- 采集正文数据;
3、头条号的列表页限制很多,内容页采集基本没有限制;所以,大部分的时候是花费在列表请求上面。
4、配置文件config.ini 里面有两个参数,一个是头条作者的url,一个是翻页数量,翻页数量设置成0下拉到底,采集到无法下拉为止,设置成其他数量就是采集多少个下拉页的文章;
5、python用到的库主要是selenium 和 requests两个库,需要提前安装Python,下载谷歌浏览器对应驱动,放在Python安装目录下面。
6、谷歌浏览器驱动下载地址:
谷歌浏览器驱动下载地址:http://chromedriver.storage.googleapis.com/index.html
下载对应自己版本的或者相近版本的驱动,win系统不管是32位还是64位,都是下载win32.zip
7、脚本已做加密,并且需要授权电脑
今日头条按照作者批量采集文章Python脚本