需要用到的库:
import requests
import random #随机生成爬虫休眠时间
import time
前期准备:
巨潮资讯网有反爬虫机制,所以先打开巨潮资讯网的年报板块,看看有什么解决办法。
巨潮咨询年报板块
网页向服务器发送的数据请求
可以通过这样的方式获取单页年报的数据,数据格式为json。其中包括年报名称,地址等数据。
所以思路就是,先通过单页的数据,然后在对每页中的年报数据进行下载。
完整代码:
import requests
import random
import time
download_path= 'http://static.cninfo.com.cn/'
saving_path= 'E://2018年报sz'
User_Agent= [
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
"Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.