- 博客(1)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 关于SCRAPY运行多个SPIDER的问题
最近在写爬取新闻的爬虫，但是发现scrapy不支持一次同时启动多个spider，到网上查找了各种资料，可能是版本的问题均不得法。有说用scrapyd来调度scrapy的，也搭建试用了一下scrapyd，感觉还是有点麻烦，用法有点别扭。还是自己从源码下手，既然能调用指定的spider，为什么不能同时执行多个spider呢？在spider的parse(self, respons
2017-08-18 13:41:30
14432
10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人