Python爬虫技术 第26节 大规模数据抓取

当涉及到大规模数据抓取时，单个爬虫实例可能无法满足性能要求。在这种情况下，可以考虑使用分布式爬虫设计来提高抓取速度和效率。Scrapy 支持分布式爬取，可以通过多个爬虫节点并行抓取数据。

分布式爬虫设计

Scrapy 提供了一个官方的分布式爬虫框架叫做 Scrapy Cluster，但这个框架并不直接包含在 Scrapy 中。Scrapy Cluster 是一个独立的项目，它使用 Redis 作为消息队列来协调多个 Scrapy 爬虫节点的工作。

不过，这里我们可以讨论一个更通用的方法来设计分布式爬虫，使用 Scrapy 和 Redis 作为消息队列。以下是分布式爬虫设计的主要组成部分：

1. 消息队列：使用 Redis 作为消息队列来管理待抓取的 URL。
2. 爬虫节点：每个爬虫节点都是一个独立运行的 Scrapy 爬虫实例，它们从 Redis 中获取 URL 并进行抓取。
3. 数据处理：抓取到的数据可以通过 Redis 或其他方式同步到中央数据库或文件系统。

数据分片和并行处理

为了提高抓取效率，可以将待抓取的 URL 切分成多个分片，每个分片由不同的爬虫节点处理。这样可以利用多个 CPU 核心来并行处理任务。

下面是如何设置一个简单的分布式爬虫系统：

1. 设置 Redis 服务器

首先，你需要设置一个 Redis 服务器。Redis 将用作爬虫节点之间的消息队列。确保 Redis 已经安装并运行。

2. 创建爬虫节点

创建一个 Scrapy 项目，为每个爬虫节点定义一个爬虫。这里我们使用一个简单的爬虫作为示例：

# myproject/spiders/example.py

import scrapy
import redis
import json

class ExampleSpider(scrapy.Spider):
    name = 'example'
    custom_settings = {
        'REDIS_HOST': 'localhost',
        'REDIS_PORT': 6379,
        'REDIS_START_URLS_KEY': 'example:start_urls',
    }

    def start_requests(self):
        r = redis.Redis(host=self.settings['REDIS_HOST'], port=self.settings['REDIS_PORT'])
        urls = r.lrange(self.settings['REDIS_START_URLS_KEY'], 0, -1)
        for url in urls:
            yield scrapy.Request(url=url.decode(), callback=self.parse)

    def parse(self, response):
        # 提取数据
        for article in response.css('div.article'):
            yield {
                'title': article.css('h2.title::text').get(),
                'link': article.css('a::attr(href)').get(),
            }
        
        # 提取下一页的链接
        next_page = response.css('div.pagination a.next::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

3. 配置 Scrapy 设置

在 settings.py 文件中配置 Redis 设置和其他相关参数：

# myproject/settings.py

BOT_NAME = 'myproject'

SPIDER_MODULES = ['myproject.spiders']
NEWSPIDER_MODULE = 'myproject.spiders'

# Redis 配置
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_START_URLS_AS_SET = True

# 禁用 Scrapy 自带的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True

# 禁用 Scrapy 自带的去重机制
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 其他 Scrapy 设置
ROBOTSTXT_OBEY = False
CONCURRENT_REQUESTS = 16
DOWNLOAD_DELAY = 1

4. 安装必要的依赖

为了使用 Redis 作为消息队列，需要安装 scrapy-redis 包：

pip install scrapy-redis

5. 初始化 Redis

在开始爬取之前，需要初始化 Redis 的队列。可以通过命令行或者脚本来添加初始 URL：

redis-cli lpush example:start_urls http://example.com

6. 运行爬虫

最后，运行爬虫节点。由于这是分布式系统，你可以运行多个爬虫实例：

scrapy crawl example

数据分片和并行处理

为了并行处理数据，你可以将 URL 分成多个部分，并将每个部分放入不同的 Redis 队列中。每个爬虫节点可以从自己的队列中获取 URL 并进行抓取。例如，你可以创建多个队列，每个队列对应一个爬虫节点：

redis-cli lpush example:start_urls_node1 http://example.com
redis-cli lpush example:start_urls_node2 http://example.com

每个爬虫节点可以有自己的配置文件，指定不同的 Redis 队列：

# myproject/spiders/example_node1.py

custom_settings = {
    'REDIS_HOST': 'localhost',
    'REDIS_PORT': 6379,
    'REDIS_START_URLS_KEY': 'example:start_urls_node1',
}

# myproject/spiders/example_node2.py

custom_settings = {
    'REDIS_HOST': 'localhost',
    'REDIS_PORT': 6379,
    'REDIS_START_URLS_KEY': 'example:start_urls_node2',
}

数据存储

数据可以通过 Scrapy 的 Item Pipeline 或者直接在爬虫中处理。你可以使用 Redis 来存储抓取的数据，或者将数据直接写入文件或数据库。

总结

上述示例展示了如何使用 Scrapy 和 Redis 设计一个简单的分布式爬虫系统。这种方法可以根据需要扩展到多个节点，以提高抓取效率。如果你有特定的需求或者需要更复杂的分布式架构，请提供更多信息，我可以帮助你进一步定制你的解决方案。

让我们继续扩展代码，以便更好地理解如何构建一个分布式爬虫系统。我们将添加更多的功能，如数据持久化、错误处理和日志记录。

数据持久化

为了存储抓取到的数据，我们可以使用 Item Pipeline。这里我们将使用 Redis 作为临时存储，最终数据将被写入文件。

定义 Item Pipeline

在 myproject/pipelines.py 文件中定义一个 Item Pipeline，用于处理抓取到的数据：

# myproject/pipelines.py

import json
import redis

class MyprojectPipeline:
    def __init__(self):
        self.redis_conn = redis.Redis(host='localhost', port=6379)

    def open_spider(self, spider):
        self.file = open('items.json', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        # 存储到 Redis
        self.redis_conn.rpush('example:items', json.dumps(dict(item)))
        # 同时写入文件
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item

错误处理

在爬虫中添加错误处理逻辑，确保当某个请求失败时能够记录错误信息。

更新爬虫

在 myproject/spiders/example.py 文件中更新爬虫，添加错误处理：

# myproject/spiders/example.py

import scrapy
import redis
import json

class ExampleSpider(scrapy.Spider):
    name = 'example'
    custom_settings = {
        'REDIS_HOST': 'localhost',
        'REDIS_PORT': 6379,
        'REDIS_START_URLS_KEY': 'example:start_urls',
    }

    def start_requests(self):
        r = redis.Redis(host=self.settings['REDIS_HOST'], port=self.settings['REDIS_PORT'])
        urls = r.lrange(self.settings['REDIS_START_URLS_KEY'], 0, -1)
        for url in urls:
            yield scrapy.Request(url=url.decode(), callback=self.parse, errback=self.handle_error)

    def parse(self, response):
        if response.status != 200:
            self.logger.error(f"Failed to load page {response.url}, status code: {response.status}")
            return

        # 提取数据
        for article in response.css('div.article'):
            yield {
                'title': article.css('h2.title::text').get(),
                'link': article.css('a::attr(href)').get(),
            }

        # 提取下一页的链接
        next_page = response.css('div.pagination a.next::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

    def handle_error(self, failure):
        self.logger.error(repr(failure))

日志记录

在 myproject/settings.py 文件中配置日志记录：

# myproject/settings.py

LOG_LEVEL = 'INFO'
LOG_FILE = 'scrapy.log'

数据分片和并行处理

为了实现数据分片和并行处理，我们可以使用多个 Redis 队列，每个队列由不同的爬虫节点处理。这里我们创建两个爬虫节点示例：

创建两个爬虫节点

创建两个爬虫节点 example_node1.py 和 example_node2.py：

# myproject/spiders/example_node1.py

import scrapy
import redis
import json

class ExampleNode1Spider(scrapy.Spider):
    name = 'example_node1'
    custom_settings = {
        'REDIS_HOST': 'localhost',
        'REDIS_PORT': 6379,
        'REDIS_START_URLS_KEY': 'example:start_urls_node1',
    }

    # ... (其余代码与 example.py 类似)

# myproject/spiders/example_node2.py

import scrapy
import redis
import json

class ExampleNode2Spider(scrapy.Spider):
    name = 'example_node2'
    custom_settings = {
        'REDIS_HOST': 'localhost',
        'REDIS_PORT': 6379,
        'REDIS_START_URLS_KEY': 'example:start_urls_node2',
    }

    # ... (其余代码与 example.py 类似)

初始化 Redis

在开始爬取之前，初始化 Redis 队列。可以通过命令行或者脚本来添加初始 URL：

redis-cli lpush example:start_urls_node1 http://example.com
redis-cli lpush example:start_urls_node2 http://example.com

运行爬虫

最后，运行爬虫节点。你可以运行多个爬虫实例：

scrapy crawl example_node1
scrapy crawl example_node2

总结

上述代码示例展示了如何构建一个支持数据分片和并行处理的分布式爬虫系统。我们通过 Redis 作为消息队列来管理 URL 和数据，并且通过多个爬虫节点来提高抓取效率。此外，我们还实现了错误处理和日志记录功能，以确保爬虫的稳定性和可靠性。

如果你需要进一步的定制化或有其他具体需求，请随时告诉我！