scrapy
qingDT
这个作者很懒,什么都没留下…
展开
-
scrapy redis 配置文件setting参数详解
#Resis 设置#使能Redis调度器SCHEDULER = 'scrapy_redis.scheduler.Scheduler'#所有spider通过redis使用同一个去重过滤器DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'#不清除Redis队列、这样可以暂停/恢复 爬取#SCHEDULER_PERSIST = True#SCHEDULER_QUEUE_CLASS ='scrapy_redis.queu原创 2020-07-23 08:30:02 · 849 阅读 · 0 评论 -
用 scrapy ImagesPipeline 下截图片 (保持图片原名或重命名)
要使用 scrapy自带的ImagesPipeline进行图片下载,需要在setting.py文件里开启通道第一步#setting.pyITEM_PIPELINES = { #scrapy自带的imagespipeline: 'scrapy.pipelines.images.ImagesPipeline':300, #自定义的图片下载pipeline #'syw.pipelines.MyImagePipeline': 300,}#设置图片存放路径IMAGES_S原创 2020-07-21 13:21:32 · 787 阅读 · 0 评论