爬虫
qq_308452419
这个作者很懒,什么都没留下…
展开
-
python 爬虫返回521
今天爬取网站返回状态码521,经过分析发现是JS混淆加密,以下是具体破解代码:import execjsimport reimport requestsimport timeurl = 'http://www.mps.gov.cn/n2254536/n2254544/n2254552/n6636622/n6636639/c6641737/content.html'headers ...原创 2019-09-29 16:59:58 · 1421 阅读 · 2 评论 -
破解js加密--python execjs库 执行js代码
import execjsimport reimport requestsimport time#测试urlurl = 'http://gaj.chifeng.gov.cn/default.php?mod=article&fid=230&s63642044_start=0'session = requests.session() #存储cookierespon...原创 2019-08-21 18:55:01 · 1050 阅读 · 0 评论 -
scrapy定时爬取和断点测试
scrapy定时爬取:每10分钟爬取一次 爬虫文件下新建main.py文件,代码如下: import osimport timewhile True: print('启动爬虫程序.........') os.system("scrapy crawl spider") print('爬虫结束..........') time.sl...原创 2019-07-26 16:40:45 · 350 阅读 · 0 评论