基于scrapy的两种增量式爬虫（url，数据指纹）

增量式爬虫基于对数据的筛选和去重，redis的sadd正好符合这一功能，下面我们就用scrapy+redis来实现增量式爬虫。

增量式爬虫应用场景

• 用于自动化获取我们想要的数据
  • 前提是我们需要对网站数据更新模式有一些了解，避免对我们获取数据带来不必要的麻烦
  • 弊端就是我们筛选数据时不正确的处理方式导致浪费时间。

增量式爬虫处理数据方式

• 在发送请求之前判断这个URL是不是之前爬取过
  • 适合不断有新页面出现的网站，比如说小说的新章节，每天的最新新闻等等；
• 在解析内容后判断这部分内容是不是之前爬取过
  • 适合页面内容会更新的网站。
• 写入存储介质时判断内容是不是已经在介质中存在
  • 相当于是最后的一道防线。这样做可以最大程度上达到去重的目的。

本篇博客用了redis的过滤功能，只支持小数据，当数据量到达上亿时，不适用此方法，推荐布隆过滤法

• https://blog.csdn.net/kun1280437633/article/details/80643879

Redis Sadd 命令

• Redis Sadd 命令将一个或多个成员元素加入到集合中，已经存在于集合的成员元素将被忽略。

• 假如集合 key 不存在，则创建一个只包含添加的元素作成员的集合。

• 当集合 key 不是集合类型时，返回一个错误。

• 注意：在Redis2.4版本以前， SADD 只接受单个成员值

url方式与数据指纹方式

url

• 判断次url是否爬过，基于上面的第一种方式，优点就是代码简洁，缺陷就是只能判断一个页面，对于更新在页面中的数据无法处理。
• 下面的Demo用CrawlSpider方法爬取新url页的数据

数据指纹

• 根据数据利用md5生成的数据指纹来筛选数据，为以上处理方式的第二种。
• 相比url方式可以更具体的判断某页数据是否有更新，使用更灵活。
• 加密方式可以用别的方式，向sha256，只不过数据量过大时，会给redis带来压力。

# spider编码:
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from redis import Redis
from mvpro.items import MvproItem


class MoveSpider(CrawlSpider):
    conn