一种利用中间件的增量爬虫实现方案

实现思路

1、利用redis缓存抓取过的网页地址
2、利用中间件实现网页是否请求的判断逻辑
3、使用scrapy的close_spider函数主动停止爬虫

爬虫部分

import scrapy
from redis.client import Redis


class Test(scrapy.Spider):
    name = "test"
    count = 0
    repeat_count = 0
    base_urls = [
    ]
    conn = Redis(host="127.0.0.1", port=6379, db=1)
    
    def start_requests(self):

        # 初始页
        urls = [
        ]
        for url in urls:
            yield scrapy.FormRequest(url=url, callback=self.parse, method='GET')

    def parse(self, response: HtmlResponse):
        # 解析逻辑
        pass

这里可以抽出一个基类，redis连接换成连接池，其他爬虫继承该基类实现复用。

中间件部分

from utils.redis_helper import is_exist


class DownloaderMiddleware(object):
    # 参数介绍：
    # request：响应对象对应的请求对象
    # spider：爬虫文件中对应的爬虫类的实例

    def process_request(self, request, spider):
        if spider.base_urls and (request.url in spider.base_urls):
            return None
        ex = is_exist(spider.conn, request.url)
        print(f'spider repeat count -> {spider.repeat_count}')
        if spider.repeat_count > 10:
            print("该网站无需更新，爬虫结束 ...")
            spider.crawler.engine.close_spider(spider, '关闭爬虫')
        if ex == 1:
            print("该url还未被爬取，可以进行数据爬取")
            return None
        else:
            print("该url已被爬取，暂无更新数据")
            spider.repeat_count += 1
            return None

这里的base_urls用于过滤一些不需要考虑去重网页例如网站的第一页，可以不使用

管道部分

import arrow
import pymongo

from SpiderMan import settings
from utils.redis_helper import set_val


class ProcurementSaveMongoPipeline:
    def process_item(self, item, spider):
        set_val(spider.conn, item["ori_url"])
        # 此处省略存储逻辑
        return item

当入库成功后才算抓取成果，此时再将链接存入redis中

注： redis理论上可以存入2^32个key，但官方推荐存入2.5亿，已经满足我的需求，如果这里不满足可以换其他数据库。