Scrapy-Redis分布式爬虫

本节目表

1. Redis的数据库结构与数据类型
2. Redis中的常用命令
3. Python操作Redis

1.Redis的数据库结构和数据类型

Redis中有16个数据库db(0) ~ db(15)
开启Redis后默认使用db(0)
切换数据库：
select 【index】
例如：
切换到db1 select 1

Redis的数据类型

2.Redis的常用命令

3.Python操作Redis

1.安装redis模块 pip install redis
2.导包 import redis
3.创建Redis连接
conn = redis.StrictRedis(
host = “localhost”,
port = 6379,
password = “”,
decode_responses = True,
)
4. 执行Redis语句
ret = conn.execute_command(“Redis语句”)

Scrapy-Redis组件原理

Scrapy-Redis配置

 #启动Scrapy-Redis去重过滤器，取消Scrapy的去重功能 
 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 
 #启用Scrapy-Redis的调度器，取消Scrapy的调度器 
 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 
 #Scrapy-Redis断点续爬 
 SCHEDULER_PERSIST = True 
 #配置Redis数据库的连接 
 REDIS_URL = 'redis://127.0.0.1:6379'