pyspider配置代理请求头(User-Agent),循环获取cookies抓取
这个是本人抓取广东专利网的代码,其中有用到代理、请求头,cookies,并设定30秒循环抓取一次。from pyspider.libs.base_handler import *import redisfrom pymongo import MongoClientimport requestsimport reimport jsonimport randomimport timefrom fake...
原创
2018-04-13 14:41:21 ·
4589 阅读 ·
0 评论