scrapy_redis分布式爬虫遇到的问题DEBUG: Filtered offsite request to
一、遇到的问题:DEBUG: Filtered offsite request to 'www.99yiyuan.com': <GET http://www.99yiy。。。二、解决方法:设置setting.py文件SPIDER_MIDDLEWARES = { 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,}如果您...
原创
2018-06-03 18:33:24 ·
1201 阅读 ·
0 评论