scrapy
文章平均质量分 71
比比
这个作者很懒,什么都没留下…
展开
-
scrapy去重队列优化
参考博文:https://blog.csdn.net/bone_ace/article/details/53099042 https://blog.csdn.net/bone_ace/article/details/53107018 scrapy里面是可以设置去重的,只要在调用Request的时候将dont_filter设置为false就行了: d...原创 2018-07-10 21:41:59 · 3136 阅读 · 1 评论 -
scrapy Request参数
转自 https://www.cnblogs.com/luolizhi/p/6821458.html url: 就是需要请求,并进行下一步处理的url callback: 指定该请求返回的Response,由那个函数来处理。 method: 一般不需要指定,使用默认GET方法请求即可 headers: 请求时,包含的头文件。一般不需要。内容一般如下:使用 urllib2 自己写过爬虫的肯定知道...转载 2018-07-10 21:44:25 · 5912 阅读 · 1 评论