scrapy-redis配置

最新推荐文章于 2024-05-22 16:20:08 发布

sliderSun

最新推荐文章于 2024-05-22 16:20:08 发布

阅读量2.5k

点赞数

分类专栏： scrapy

本文链接：https://blog.csdn.net/weixin_37947156/article/details/75082061

版权

scrapy 专栏收录该内容

14 篇文章 6 订阅

订阅专栏

Python 版本为 2.7，3.4 或者3.5 。个人使用3.6版本也没有问题

Redis>=2.8

Scrapy>=1.4

Redis-py>=2.1 。

3.X版本的Python 都是自带Redis-py 其余小伙伴如果没有的话、自己 pip 安装一下。

开始搞事！

开始之前我们得知道scrapy-redis的一些配置：PS 这些配置是写在Scrapy项目的settings.py中的！

 
         1 
       
         2 
       
         3 
       
         4 
       
         5 
       
         6 
       
         7 
       
         8 
       
         9 
       
         10 
       
         11 
       
         12 
       
         13 
       
         14 
       
         15 
       
         16 
       
         17 
       
         18 
       
         19 
       
         20 
       
         21 
       
         22 
       
         23 
       
         24 
       
         25 
       
         26 
       
         27 
       
         28 
       
         29 
       
         30 
       
         31 
       
         32 
       
         33 
       
         34 
       
         35 
       
         36 
       
         37 
       
         38 
       
         39 
       
         40 
       
         41 
       
         42 
       
         43 
       
         44 
       
         45 
       
         46 
       
         47 
       
         48 
       
         49 
       
         50 
       
         51 
       
         52 
       
         53 
       
         54 
       
         55 
       
         56 
       
        #启用Redis调度存储请求队列 
       
        SCHEDULER 
          
        = 
          
        "scrapy_redis.scheduler.Scheduler" 
       
        #确保所有的爬虫通过Redis去重 
       
        DUPEFILTER_CLASS 
          
        = 
          
        "scrapy_redis.dupefilter.RFPDupeFilter" 
       
        #默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS：这玩意儿2.X的可以用。3.X的不能用 
       
        #SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat" 
       
        #不清除Redis队列、这样可以暂停/恢复 爬取 
       
        #SCHEDULER_PERSIST = True 
       
        #使用优先级调度请求队列 （默认使用） 
       
        #SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue' 
       
        #可选用的其它队列 
       
        #SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue' 
       
        #SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue' 
       
        #最大空闲时间防止分布式爬虫因为等待而关闭 
       
        #SCHEDULER_IDLE_BEFORE_CLOSE = 10 
       
        #将清除的项目在redis进行处理 
       
        ITEM_PIPELINES 
          
        = 
          
        { 
       
        'scrapy_redis.pipelines.RedisPipeline' 
        : 
          
        300 
       
        } 
       
        #序列化项目管道作为redis Key存储 
       
        #REDIS_ITEMS_KEY = '%(spider)s:items' 
       
        #默认使用ScrapyJSONEncoder进行项目序列化 
       
        #You can use any importable path to a callable object. 
       
        #REDIS_ITEMS_SERIALIZER = 'json.dumps' 
       
        #指定连接到redis时使用的端口和地址（可选） 
       
        #REDIS_HOST = 'localhost' 
       
        #REDIS_PORT = 6379 
       
        #指定用于连接redis的URL（可选） 
       
        #如果设置此项，则此项优先级高于设置的REDIS_HOST 和 REDIS_PORT 
       
        #REDIS_URL = 'redis://user:pass@hostname:9001' 
       
        #自定义的redis参数（连接超时之类的） 
       
        #REDIS_PARAMS  = {} 
       
        #自定义redis客户端类 
       
        #REDIS_PARAMS['redis_cls'] = 'myproject.RedisClient' 
       
        #如果为True，则使用redis的'spop'进行操作。 
       
        #如果需要避免起始网址列表出现重复，这个选项非常有用。开启此选项urls必须通过sadd添加，否则会出现类型错误。 
       
        #REDIS_START_URLS_AS_SET = False 
       
        #RedisSpider和RedisCrawlSpider默认 start_usls 键 
       
        #REDIS_START_URLS_KEY = '%(name)s:start_urls' 
       
        #设置redis使用utf-8之外的编码 
       
        #REDIS_ENCODING = 'latin1'

请各位小伙伴儿自行挑选需要的配置写到项目的settings.py文件中

英语渣靠Google、看不下去的小伙伴儿看这儿：http://scrapy-redis.readthedocs.io/en/stable/readme.html

继续在我们上一篇博文中的爬虫程序修改：

首先把我们需要的redis配置文件写入settings.py中：

如果你的redis数据库按照前一片博文配置过则需要以下至少三项

 
         1 
       
         2 
       
         3 
       
         4 
       
         5 
       
        SCHEDULER 
          
        = 
          
        "scrapy_redis.scheduler.Scheduler" 
       
        DUPEFILTER_CLASS 
          
        = 
          
        "scrapy_redis.dupefilter.RFPDupeFilter" 
       
        REDIS_URL 
          
        = 
          
        'redis://root:密码@主机ＩＰ:端口'

第三项请按照你的实际情况配置。

sliderSun

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
scrapy-redis配置

Python 版本为 2.7，3.4 或者3.5 。个人使用3.6版本也没有问题Redis>=2.8Scrapy>=1.4Redis-py>=2.1 。3.X版本的Python 都是自带Redis-py 其余小伙伴如果没有的话、自己 pip 安装一下。开始搞事！开始之前我们得知道scrapy-redis的一些配置：PS 这些配置是写在Scra
复制链接

扫一扫