python分布式爬虫scrapy_redis

安装 scrapy_redis

pip install scrapy-redis

Scrapy-Redis分布式策略

• Master端(核心服务器) ：我使用的虚拟机系统为linux，搭建一个Redis数据库，不负责爬取，只负责url指纹判重、Request的分配，以及数据的存储
• Slaver端(爬虫程序执行端) ：我使用的win10，负责执行爬虫程序，运行过程中提交新的Request给Master

分布式爬虫的运作过程

1. 首先Slaver端从Master端拿任务（Request、url）进行数据抓取，Slaver抓取数据的同时，产生新任务的Request便提交给 Master 处理；
2. Master端只有一个Redis数据库，负责将未处理的Request去重和任务分配，将处理后的Request加入待爬队列，并且存储爬取的数据。

实例-使用分布式爬虫爬取豆瓣250

此处省略了虚拟机redis数据库的配置。

先从github上拿到scrapy-redis的示例，然后将里面的example-project目录移到指定的地址：
https://github.com/rmax/scrapy-redis

scrapy-redis 源码中有自带一个example-project项目，这个项目包含3个spider，分别是dmoz, myspider_redis，mycrawler_redis，
此处使用的是mycrawler_redis

在mycrawler_redis 中不再有start_urls,取而代之的是redis_key，scrapy-redis将key从Redis里pop出来，成为请求的url地址。

下面是代码

1. 修改items

from scrapy.item import Item, Field

from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose, TakeFirst, Join


class ExampleItem(Item):
    mingzi = Field()
    daoyan = Field()
    riqi = Field()
    jianjie = Field()
    url = Field()


class ExampleLoader(ItemLoader):
    default_item_class = ExampleItem
    default_input_processor = MapCompose(lambda s: s.strip())
    default_output_processor = TakeFirst()
    description_out = Join()

2. 修改pipelines

class ExamplePipeline(object):
    #把数据保存在本地txt中
    def __init__(self):
        self.file = open("douban.txt", "w", encoding="utf-8")
        


    def process_item(self, item, spider):


        self.file.write(str(item) + "\r\n")
        self.file.flush()
        print(item)
        return item

    def __del__(self):
        self.file.close()

3. 修改setting

REDIS_HOST = 'x.x.x.x'
REDIS_PORT = 6379
REDIS_URL = "redis://:123456@x.x.x.x:6379"
#REDIS_URL = "redis://:密码@x.x.x.x:6379"

4.写spider
Mydouban.py

from bs4 import BeautifulSoup
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor
from scrapy_redis.spiders import RedisMixin
from scrapy.spiders import CrawlSpider
from scrapy_redis.spiders import RedisCrawlSpider
from ..items import ExampleItem
import re
import scrapy


class MyCrawler(RedisCrawlSpider):
    """Spider that reads urls from redis queue (myspider:start_urls)."""
    name = 'mydouban_redis'
    redis_key = 'douban:start_urls'

    rules = (
        # follow all links
        Rule(LinkExtractor(allow=(r'\?start=\d+&filter=')),  follow=True),
        Rule(LinkExtractor(allow=(r'movie\.douban\.com/subject/\d+/')), callback='parse_page', follow=False),
    )
    def set_crawler(self, crawer):
        CrawlSpider.set_crawler(self, crawer)  # 设置默认爬去
        RedisMixin.setup_redis(self)  # url由redis   

    #def __init__(self, *args, **kwargs):
    #    # Dynamically define the allowed domains list.
    #    domain = kwargs.pop('domain', '')
    #    self.allowed_domains = filter(None, domain.split(','))
    #    super(MyCrawler, self).__init__(*args, **kwargs)

    def getinf(self,response):
        
        mingzi =response.xpath('//*[@id="content"]/h1/span[1]/text()').extract()
        daoyan =response.xpath('//*[@id="info"]/span[1]/span[2]/a/text()').extract()
        riqi =response.xpath('//*[@id="info"]/span[10]/text()').extract()
        jianjie =response.xpath('//*[@id="link-report"]/span[1]/span/text()').extract()
        jianjie =response.xpath('//*[@id="link-report"]/span[1]/text()').extract()
        
        url =response.url
        return mingzi,daoyan,riqi,jianjie,url


    def parse_page(self, response):
        result=self.getinf(response)
        item=ExampleItem()
        item['url']=result[4]
        item['mingzi']=result[0]
        item['daoyan']=result[1]
        item['riqi']=result[2]
        item['jianjie']=result[3]
        yield item

运行项目

1. 通过runspider方法执行爬虫的py文件（也可以分次执行多条），爬虫（们）将处于等待准备状态：
   scrapy runspider mydouban_redis.py

2. 在Master端的redis-cli输入push指令，参考格式：
   *$redis > lpush mycrawler:start_urls https://movie.douban.com/top250

3. 爬虫获取url，开始执行。
   此处使用 scrapy runspider mydouban_redis.py ，执行失败，提示找不到mydouban_redis.py，不明原因，有大佬知道原因的望告知。
   此处我使用的是 scrapy crawl 我的爬虫name 才执行成功。