Redis 分布式爬虫设置，Django连接网络数据库以及使用models操作已经存在的表的基础设置

启动redis

远程连接配置信息

redis.windows.conf 文件

搜索(CTRL+F)：protected

修改 protected-mode yes ==》protected-mode no

注释掉 bind 127.0.0.1 ==》 # bind 127.0.0.1

加入 daemonize no(这个是是否在后台启动不占用一个主程窗口)可自行决定是否添加这一个操作

保存配置文件，重启redis服务

启动操作 redis-server.exe redis.windows.conf

远程连接 ：redis-cli -h host -p port -a password

• 示例：redis-cli -h 192.168.3.2 -p 6379

命令	解释
keys *	查询所有数据表
type key	查看表中存储数据的类型
smembers key	获得集合中的所有元素
flushall	删除所有

setting

DOWNLOAD_DELAY = 3

# 指定使用scrapy-redis的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# 指定使用scrapy-redis的去重
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'

# 指定排序爬取地址时使用的队列，
# 默认的 按优先级排序(Scrapy默认)，由sorted set实现的一种非FIFO、LIFO方式。
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
# 可选的 按先进先出排序（FIFO）
# SCHEDULE