scrapy-redis实现start_requests功能
最近在用scrapy-redis的RedisSpider时,需要在起始请求中添加cookie,发现RedisSpider并不可直接使用start_requests,需要手动实现。
分析可知RedisSpider继承于RedisMixin和Spider类,执行逻辑是RedisMixin的next_requests函数接收到了redis中data后,通过make_request_from_data函数...
原创
2018-10-30 15:42:12 ·
4558 阅读 ·
11 评论