![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Scrapy
记录Scrapy爬虫踩坑过程
Zhao1iang
研究生要毕业,写论文中....
展开
-
Scrapy-redis设置初始请求带参数
Scrapy-redis设置初始请求带参数官方demo中只有默认的get请求, 但是我们面对的网站多种多样, 有时候起始url就是post请求, 或者业务需要在get请求中加入很多后期要用到的参数。源码class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None,原创 2020-12-15 15:52:19 · 572 阅读 · 1 评论 -
Scrapy同时启动多个爬虫
Scrapy多爬虫并行问题:当遇到针对同一请求网站URL时,根据不同的参数不想多次新建scrapy项目。1、在sprider同级目录下建立commons文件夹(自定义)2、新建crawlall.pyfrom scrapy.commands import ScrapyCommandfrom scrapy.utils.project import get_project_settingsclass Command(ScrapyCommand): requires_project = T原创 2020-10-28 19:55:47 · 476 阅读 · 2 评论