scrapy
文章平均质量分 53
沙子2019
这个作者很懒,什么都没留下…
展开
-
scrapy下载图片视频
Rule规则默认忽略这些格式后缀IGNORED_EXTENSIONS = [# archives‘7z’, ‘7zip’, ‘bz2’, ‘rar’, ‘tar’, ‘tar.gz’, ‘xz’, ‘zip’,# images'mng', 'pct', 'bmp', 'gif', 'jpg', 'jpeg', 'png', 'pst', 'psp', 'tif','tiff', 'ai', 'drw', 'dxf', 'eps', 'ps', 'svg', 'cdr', 'ico',# au原创 2021-02-25 10:34:55 · 405 阅读 · 0 评论 -
scrapy
1.setting配置LOG_LEVEL = ‘ERROR’#redis 去重配置DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter”#使用scrapy-redis 组件自己的调度器SCHEDULER = “scrapy_redis.scheduler.Scheduler”#是否持久化存储SCHEDULER_PERSIST = True#深度DEPTH_LIMIT=2#超时RETRY_TIMES = 5#redisRE原创 2021-02-23 17:36:23 · 83 阅读 · 0 评论