redis分布式爬虫 在原有基础上redis 增设密码,需要进行一定的设置
1、settings.py
REDIS_HOST = '172.16.1.101'
REDIS_PORT = 6379
REDIS_PARAMS = {
'password': 'wR2E&EblAbKNq1Ub',
}
2、起始url设置:run_scrapy_redis_start_url.sh
#!/bin/bash
source /etc/profile
redis-cli -a 'wR2E&EblAbKNq1Ub' lpush sample:start_urls www.sample.com