![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
魔法屋
这个作者很懒,什么都没留下…
展开
-
scrapy post请求 formdata/body传值问题
关于 scrapy post 提交一直有疑惑,不知道选用那种姿势。scrapy Post 发送数据是我们通常会用 yield scrapy.FormRequest( url = url, formdata = {"aaa" : "xxx", "bbb" : "xxxxx"},原创 2019-03-08 15:30:44 · 6926 阅读 · 1 评论 -
scrapy_redis 解决空跑问题,自动关闭爬虫
使用过scrapy_redis框架的人一定知道,scrapy redis 在没有requests的时候,会阻塞等待接收start_url,程序无法自动结束。那如何自动停止程序,结束空跑呢??? spider_idle 信号 scrapy.signals.spider_idle(spider)当spider进入空闲(idle)状态时该信号被发送。空闲意味着:requests正在等待被下载...原创 2018-08-14 21:24:15 · 2398 阅读 · 1 评论