redis分布式使用

一、创建一个项目
① scrapy startproject 文件名
② cd 文件名
③ scrapy genspider -t crawl 爬虫文件名 www.baidu.com
二、在爬虫文件中操作，爬取需要的内容
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy_redis.spiders import RedisCrawlSpider #导入redis中父类
from fbspro.items import FbsproItem #导入items文件中的实例化类

	class FbsSpider(RedisCrawlSpider):  #此处将CrawlSpider修改RedisCrawlSpider				
		    name = 'fbs' # 用不到  但是不可以删除，没有name 就不是一个爬虫类了
		    # allowed_domains = ['www.baidu.com']
		    # start_urls = ['http://www.baidu.com/']  #将原文件中的，初始url 注释掉
		
		    #redis_key 是共享调度器的队列名称
		    redis_key = 'urlscheduler'
			# 链接提取器
		    link  = LinkExtractor(allow=r'.*?type=4&page=\d+')
		    rules = (
		   	 	#规则解析器
		        Rule(link, callback='parse_item', follow=True),
		    )
		
		    def parse_item(self, response):
		        a_list = response.xpath('//a[@class="news14"]')
		        for a  in a_list:
		            title = a.xpath('./text()').extract_first()
		            print(title)
		            item = FbsproItem()
		            item['title'] = title
		            yield item

三、做好爬取文件操作后 在settings文件中配置
- 1.1 指定管道：
ITEM_PIPELINES = {
‘scrapy_redis.pipelines.RedisPipeline’: 400（将默认管道注释掉）
}
- 1.2 指定调度器：
# 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请 求的指纹数据, 从而实现请求去重的持久化
DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter”
# 使用scrapy-redis组件自己的调度器
SCHEDULER = “scrapy_redis.scheduler.Scheduler”
# 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中 请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
SCHEDULER_PERSIST = True
- 1.3 指定具体的redis：
REDIS_HOST = ‘redis服务的ip地址’
REDIS_PORT = 6379 #redis 的端口号
四、启动redis
① 修改redis.windows.conf 配置文件
bind 127.0.0.1 注释掉
protected-mode yes 要改成 no
② 在redis文件中地址栏输入cmd 首先启动服务端
redis-server ./redis.windows.conf
回到redis文件地址栏 输入cmd 启动客户端
redis-cli
③ 在pycharm里 terminal中，进入到爬虫文件名下后
执行命令: scrapy runspider 爬虫名.py
④ 回到启动客户端的命令窗口执行命令;
lpush urlscheduler 爬取数据的网址 [value…]