scrapy下的分布式爬取

1先写好scrapy爬虫，在改配置
2引入from scrapy_redis.spiders import RedisSpider
3ZhaobiaowangSpider(RedisSpider)继承
4注释 allowed_domains = [‘www.yfbzb.com’]
start_urls = [‘http://www.yfbzb.com/yfbsemsite/yfb_360so’]
5设置redis_key
如下代码

import scrapy
from zhaobiao.items import ZhaobiaoItem

from scrapy_redis.spiders import RedisSpider

class ZhaobiaowangSpider(RedisSpider):
    name = 'zhaobiaowang'
    # allowed_domains = ['www.yfbzb.com']
    # start_urls = ['http://www.yfbzb.com/yfbsemsite/yfb_360so']
    redis_key = 'zhaobiao'
    def parse(self, response):
        ul=response.xpath('//ul[@class="clearfix area_province"]/li')[1:]

6修改setting配置，如下所示
注意：REDIS_HOST = '127.0.0.1’当你部署在别的机器时，redis所在机器的ip,

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36 Edg/91.0.864.41'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# 开启管道 默认reids RedisPipeline
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 400
}
# CONCURRENT_REQUESTS = 3

# 指定调度器
# 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用scrapy-redis组件自己的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据
SCHEDULER_PERSIST = True

REDIS_HOST = '127.0.0.1'  #redis远程服务器的ip
REDIS_PORT = 6379

7修改redis中的redis.windows.conf文件，找到bind+ip可注释也可修改为0.0.0.0
protected-mode yes 把yes改为no

8cmd下找到redis所在目录
输入：redis-server.exe redis.windows.conf，如下

9在起一个cmd在redis目录下启动redis-cli.exe

10，运行scrapy爬虫，会等待在这里，当我们在上图输入lpush +我们一开始设置的redis_key = ‘zhaobiao’ +start_urls
lpush zhaobiao url链接

当我们配好第6步我们其实可以打包好整个爬虫文件，把他放入Linux中，安装好所需的库，我们就能实现多太机器的分布式爬取