![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy框架
!d10t
这个作者很懒,什么都没留下…
展开
-
Scrapy 关于Request对象
Request对象由start_requests()调用make_requests_from_url() 生成Request对象,要修改最初爬取某个网站的Request对象,可以重写start_requests()方法(但重写必须返回一个可迭代对象,一般为生成器,此方法只会在spider启动爬取并且未制定URL时调用一次)。例如,如果需要在启动时以POST登陆某个网站,可以写成: class My...转载 2019-03-06 15:49:50 · 336 阅读 · 0 评论 -
scrapy 使用 -o 命令输出json文件
json文件空白的原因可能的原因有: settings.py文件中是否启用了pipeline, ROBOTSTXT_OBEY = False, 是否修改user-agent 如果是普通的模板, 注意return item和return items,前者只能返回一个item, 最好使用yield item 如果是crawlspider,检查rules中的Rule是否有callback, callb...原创 2019-03-28 15:38:17 · 3860 阅读 · 1 评论 -
scrapy-redis 关闭spider的问题
https://blog.csdn.net/mr_hui_/article/details/81455387转载 2019-04-24 01:21:28 · 770 阅读 · 0 评论