爬虫
Deepcoldwing
90后程序猿,为自由而奋斗!
展开
-
Scrapy顺序执行多个爬虫
Scrapy顺序执行多个爬虫使用subprocess按照顺序执行多个爬虫,新建一个start.py文件,输入一下内容,def crawl_work(): subprocess.Popen('scrapy crawl spider1', shell=True).wait() subprocess.Popen('scrapy crawl spider2', shell=True).wait() subprocess.Popen('scrapy crawl spider3', shel原创 2020-06-20 13:50:17 · 984 阅读 · 0 评论 -
常见反爬及应对措施--思路
常见反爬及应对措施–思路原创 2020-05-07 17:28:09 · 477 阅读 · 0 评论