增量式爬虫详细讲解，附案例分析

最新推荐文章于 2024-04-09 17:47:36 发布
最新推荐文章于 2024-04-09 17:47:36 发布
阅读量4.6k 收藏 34
点赞数 5
分类专栏： Python Spider 文章标签： python redis mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46297209/article/details/111025891
版权

爬虫之增量式爬虫

一：什么是增量式爬虫

爬虫策略：

  1. 广度优先

    比如我们平时通过分页爬取的方式

  2. 深度优先

    对于深度优先来说，必须使用增量爬虫

增量的含义就是不断的增加，它通过我们提供的一个入口，不断的去爬取数据，从而达到使数据不断增加的目的。

在我们平时的爬取过程中，会遇到一些问题：

  1. 页面内容发生变更

    1. 有些数据需要我们持久的慢慢的进行爬取

如果我们的爬虫页面发生了变化，也能够持续稳定的将变化的数据更新到数据库中，同时又能保证爬虫再执行的过程中，数据量也在不停的增加，这样的爬虫就叫增量爬虫。

增量爬虫的核心：去重，如果不进行去重会进入死链状态，详细可参考下面的案例

增量爬虫如何去重：

  1. 在请求发起之前，判断此url是否爬取过
  2. 在解析内容之后，判断该内容是否被爬取过
  3. 在保存数据时，判断将要写入的内容是否存在于存储介质中

二：案例演示

案例目标：猫眼电影-影人抓取，爬取尽可能多的演员信息

案例介绍：此案例的爬虫策略和之前博客中发布的爬虫案例的都不同，这个案例并没有分类页(列表页)，没有一个完整的爬虫入口，只能够请求一个或多个演员，然后找到相关影人，从而尽可能多的获取。

  1. 编写调度器即定义一个队列进行存取
from lxml import etree

def main():
	# 取出队列中的url，进行请求
	url = scheduler.get()
	# 定义downloader下载器处理取出的请求
	response = downloader(url)
	html = etree.HTML(response)
	
if __name__ == "__main__":
	# 初始化任务池，尽可能多的放进一些url，这样搜索面才会大
	start_urls = [
		"https://maoyan.com/films/celebrity/789",
        "https://maoyan.com/films/celebrity/29480",
        "https://maoyan.com/films/celebrity/29481",
        "https://maoyan.com/films/celebrity/28625",
        "https://maoyan.com/films/celebrity/5392",
	]
	# 定义一个调度器队列
	scheduler = Queue()
	# 将任务池中的url放入到调度器的队列中
	for url in start_urls:
		scheduler.put(url)
	# 定义一个main函数用来执行其它组件的功能
	main()
  1. 编写下载器即downloader函数

作用：将从调度器拿到的url进行请求，并将请求后的响应返回给爬虫组件spider

def downloader(url):
    response = requests.get(url)
    return response.text
  1. 编写爬虫组件spider函数

作用：处理下载器发送过来的响应，获取数据

def spider(html):

    # 创建一个item字典
    item = {}

    # 获取影人中文名字
    zh_name = html.xpath('//p[@class="china-name cele-name"]/text()')[0]
    # 获取影人英文名字
    en_name = html.xpath('//p[@class="eng-name cele-name"]/text()')[0]
    # 获取影人职业
    profession = html.xpath('//span[@class="profession"]/text()')[0]
    # 获取影人生日
    birthday = html.xpath('//span[@class="birthday"]/text()')[0]
    # 获取影人身高
    height = html.xpath('//span[@class="height"]/text()')[0]
    # 获取影人作品
    display = html.xpath('//p[@class="movie-name"]/text()')
    
    # 保存数据至item
    item["zh_name"] = zh_name
    item["en_name"] = en_name
    item["profession"] = profession
    item["birthday"] = birthday
    item["height"] = height
    item["display"] = display

这里出现了一个问题：如果影人没有英文名或是缺少了其它一些信息，那么我们就会得到一个空列表，之后用索引取值时就会报错，为了解决这个问题，我们再编写一个提取数据的函数，使得如果得到一个空列表则返回一个None。

编写extract_first提取函数

def extract_first(text):
    if text:
        return text[0]
    return None

修改spider函数

def spider(html):

    # 创建一个item字典
    item = {}

# -------------------------------------------------------------------------------------
    # 获取影人中文名字
    zh_name = extract_first(html.xpath('//p[@class="china-name cele-name"]/text()'))
    # 获取影人英文名字
    en_name = extract_first(html.xpath('//p[@class="eng-name cele-name"]/text()'))
    # 获取影人职业
    profession = extract_first(html.xpath('//span[@class="profession"]/text()'))
    # 获取影人生日
    birthday = extract_first(html.xpath('//span[@class="birthday"]/text()'))
    # 获取影人身高
    height = extract_first(html.xpath('//span[@class="height"]/text()'))
    # 获取影人作品
    display = html.xpath('//p[@class="movie-name"]/text()')
# -------------------------------------------------------------------------------------

    # 保存数据至item
    item["zh_name"] = zh_name
    item["en_name"] = en_name
    item["profession"] = profession
    item["birthday"] = birthday
    item["height"] = height
    item["display"] = display

    return item
  1. 编写管道组件pipeline函数

作用：将获取到的数据保存到mongodb数据库中

def pipeline(item,url):
    # 链接mongodb
    client = pymongo.Client(host="127.0.0.1",port=27017)
    # 进入数据库
    db = client["first_text"]
    # 进入集合
    col = db["actor"]
    # 插入数据，需进行判重
    # 判重思路：一般都是通过url进行判重，在这里我们可以将主键id替换为我们
加密过的请求url,然后进行判重,如果此url已请求过则不再添加它的返回值
    item["_id"] = encryption(url)
    col.update({"_id":url},{"$set":item},True)

编写加密函数

def encryption(url):
    # 初始化md5对象
    md5 = hashlib.md5()
    # 加密
    md5.update(url.encode("utf-8"))
    # 返回加密后的数据
    return md5.hexdigest()

  1. 获取相关影人的url，并将获取到的url放入到队列中，不断进行请求，直到队列为空为止

    对main函数进行修改

def main():
# ---------------------------------------------------------------------------------
	# 使用死循环一直从队列中取出URL，在队列为空时退出循环
	while True:
		if scheduler.empty():
			break
# ----------------------------------------------------------------------------------

        # 取出队列中的url，进行请求
        url = scheduler.get()
        # 定义downloader下载器处理取出的请求
        response = downloader(url)
        html = etree.HTML(response)
        # 定义spider爬虫组件接受下载器的请求并处理数据
        item = spider(html)
        # 定义pipeline管道对数据进行保存
        pipeline(item,url)
        # 获取相关影人的url
        related_url_list = html.xpath('//div[@class="rel-item"]/a/@href')
        for related_url in related_url_list:
            full_related_url = "https://maoyan.com" + related_url
            scheduler.put(full_related_url)

​ 这里又出现了一个问题，假设某演员的相关影人中有他的朋友，当我们进入到他朋友的页面中后，如果他朋友的相关影人也有他那么就会不断的进行请求，就会形成一个死循环，所以我们要进行队列的去重操作。

  1. 定义去重函数url_seen，相当于Scrapy-Redis的去重器

去重器原理：将每一次取出的url放入到redis数据库中集合中，以放入时返回的值为判断条件，如果返回值为0则说明有重复的url，我们就不再进行请求，如果返回值为1,说明这个url没有被请求过，我们就可以对这个url发起请求

def url_seen(url):
"""去重函数"""

    # 链接Redis数据库
    r = redis.Redis(host="127.0.0.1",port=6379)
    # 判重
    res = r.sadd("maoyan:actor_url",encryption(url))
    return res == 0
  1. 修改main函数，对队列中的url进行去重处理
def main():
    # 使用死循环一直从队列中取出URL，在队列为空时退出循环
    while True:
        if scheduler.empty():
            break
        # 取出队列中的url，进行请求
        url = scheduler.get()
        
# 在此处判断，即每一次从队列中取出url时，先去判断此url是否已经存在
# -----------------------------------------------------------     
        if not url_seen(url):
# -----------------------------------------------------------

            # 定义downloader下载器处理取出的请求
            response = downloader(url)
            html = etree.HTML(response)
            # 定义spider爬虫组件接受下载器的请求并处理数据
            item = spider(html)
            # 定义pipeline管道对数据进行保存
            pipeline(item,url)
            # 获取相关影人的url
            related_url_list = html.xpath('//div[@class="rel-item"]/a/@href')
            for related_url in related_url_list:
                full_related_url = "https://maoyan.com" + related_url
                # 将获取到的url放入到队列中
                scheduler.put(full_related_url)

至此增量式爬虫编写完毕，在此提醒：运行文件的时候可别忘了打开mongodb和redis数据库的服务器，不然会报请求被拒绝的错误哦！

下面附完整无注释代码：

import redis
import hashlib
import pymongo
import requests

from lxml import etree
from queue import Queue

def extract_first(text):
    if text:
        return text[0]
    return None


def encryption(url):
    md5 = hashlib.md5()
    md5.update(url.encode("utf-8"))
    return md5.hexdigest()

def pipeline(item,url):
    client = pymongo.MongoClient(host="127.0.0.1",port=27017)
    db = client["first_text"]
    col = db["actor"]
    item["_id"] = encryption(url)
    col.update_many({"_id":item["_id"]},{"$set":item},True)


def spider(html):
    item = {}

    zh_name = extract_first(html.xpath('//p[@class="china-name cele-name"]/text()'))
    en_name = extract_first(html.xpath('//p[@class="eng-name cele-name"]/text()'))
    profession = extract_first(html.xpath('//span[@class="profession"]/text()'))
    birthday = extract_first(html.xpath('//span[@class="birthday"]/text()'))
    height = extract_first(html.xpath('//span[@class="height"]/text()'))
    display = html.xpath('//p[@class="movie-name"]/text()')

    item["zh_name"] = zh_name
    item["en_name"] = en_name
    item["profession"] = profession
    item["birthday"] = birthday
    item["height"] = height
    item["display"] = display

    return item


def downloader(url):
    response = requests.get(url)
    return response.text


def url_seen(url):
    r = redis.Redis(host="127.0.0.1",port=6379)
    res = r.sadd("maoyan:actor_url",encryption(url))
    return res == 0

def main():
    while True:
        if scheduler.empty():
            break
        url = scheduler.get()
        if not url_seen(url):
            response = downloader(url)
            html = etree.HTML(response)
            item = spider(html)
            pipeline(item,url)
            related_url_list = html.xpath('//div[@class="rel-item"]/a/@href')
            for related_url in related_url_list:
                full_related_url = "https://maoyan.com" + related_url
                scheduler.put(full_related_url)


if __name__ == "__main__":
    start_urls = [
        "https://maoyan.com/films/celebrity/789",
        "https://maoyan.com/films/celebrity/29480",
        "https://maoyan.com/films/celebrity/29481",
        "https://maoyan.com/films/celebrity/28625",
        "https://maoyan.com/films/celebrity/5392",
    ]
    scheduler = Queue()
    for url in start_urls:
        scheduler.put(url)
    main()
猿心不灭
关注
  • 5
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
增量爬虫
weixin_45410351的博客
11-12 1248
增量爬虫就是： 增量就是使爬虫获取到的数据以增量的形式稳定增长。 增量爬虫的方案： 1.爬虫开始 在爬取数据前，查看这个url是否被爬取过。–查看url是否重复。 2.爬虫中间 有时候在爬取一些网站的时候，可能得到一些数据，但是这个网页的更新速度可能会比较快，这时候我们可以查看这个网页是否有更新，如果更新了，相应的这个网站的数据也应该在数据库更新。 这种实现的步骤： 将页面的response.te...
15天学会爬虫 第十一天
勿忘心安的博客
01-22 316
爬虫 第十一天 scrapy流程的新理解 start_urls谁构造的请求？ def start_requests(self): for url in self.start_urls: yield Request(url, dont_filter=True) 当爬虫开始运行时，首先引擎会调用爬虫类的start_requests()方法将start_urls列...
Python爬虫之增量式爬虫
最新发布
Tudective的博客
04-09 1231
增量式爬虫是一种用于爬取网页信息的技术，它与全量式爬虫相比具有更高效和节省资源的特点。增量式爬虫的基本原理是通过比较已爬取的数据和新爬取的数据，只爬取和更新最新的数据。它会记录上一次爬取的状态，将新爬取的数据和已有的数据进行匹配和对比，只提取出新数据并进行存储。增量式爬虫的优势在于可以减少对目标网站的访问次数和资源消耗，同时也能够保证数据的及时更新。它能够根据需求定制爬取规则，从而提高爬取的效率和精确度，减少重复爬取的数据。增量式爬虫一般包括以下几个步骤：初始化：设置爬取的起始点和爬取规则。爬取网页：按照规
浅谈增量式爬虫
weixin_33734785的博客
02-24 248
引入 在我们爬取某些网站时会遇到一些问题？某些网站会定时在原有网页数据的基础上更新一批数据。 例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。 那么遇到类似的场景，我们就可以采用增量式爬虫了 而增量式爬虫分为两个步骤： 增量爬取 爬取结果去重 增量爬取 一个站点更新也会出现下面两种情况： 1，单个页面数据更新 当出现这...
逆向爬虫19 Scrapy增量式和分布式
weixin_40743639的博客
02-06 1704
逆向爬虫笔记 19
第九章：增量式爬虫_第九章：增量式爬虫_
10-02
增量式爬虫是网络爬虫的一种特殊类型，它与全量爬虫相对，全量爬虫会抓取互联网上的所有网页，而增量式爬虫则更高效、智能，主要关注网页的变化，只抓取新出现或者已更新的内容。在本章中，我们将深入探讨增量式爬虫...
第九章：增量式爬虫_Python爬虫教程_
10-02
增量式爬虫是网络爬虫的一种策略，与全量爬虫不同，它不是一次性抓取整个网站的所有页面，而是有选择地抓取自上次爬行以来发生变化或新出现的页面。这种方式在处理大规模网站时非常实用，因为它可以有效减少网络带宽...
Python之网络爬虫框架讲解
08-30
网络爬虫可以按照指定的规则（网络爬虫算法）自动浏览或抓去网络中的...爬虫按实现的技术和结构一般分为如下几类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。实际开发中，往往采有这几类的组合体。
增量式、位置式积分分离 pid 算法
07-21
增量式和位置式积分分离PID算法是工业自动化领域中常用的一种高级控制策略，它们通过优化传统的PID控制器性能，解决...结合实际案例分析，这些方法在各种工业控制领域，如锅炉控制、过程控制等，都有着广泛的应用前景。
基于增量式爬虫的搜索引擎系统的设计.doc
09-09
同时，本文档还将对基于增量式爬虫的搜索引擎系统的优点和优势进行分析和讨论。 知识点： 1.增量式爬虫的概念和原理 增量式爬虫是一种基于增量式数据处理的爬虫技术，通过实时地对数据进行爬取和更新，可以快速地...
一种利用中间件的增量爬虫实现方案
Fairy
01-11 218
一种利用中间件的增量爬虫实现方案
python 爬虫 实现增量去重和定时爬取实例
python爬虫教程
03-03 3226
前言： 在爬虫过程中，我们可能需要重复的爬取同一个网站，为了避免重复的数据存入我们的数据库中 通过实现增量去重 去解决这一问题 本文还针对了那些需要实时更新的网站 增加了一个定时爬取的功能； 本文作者同开源中国（殊途同归_）； 解决思路： 1.获取目标url 2.解析网页 3.存入数据库（增量去重） 4.异常处理 5.实时更新（定时爬取） 下面为数据库的配置 mysql_congif.py： im...
python爬虫——增量式爬虫——queue
SixGod6860
03-01 583
python队列Queue Queue是python标准库中的线程安全的队列（FIFO）实现，提供了一个使用于多线程编程的先进先出的数据结构，即队列，用来在生产者和消费者线程之间的信息传递。 基本FIFO队列 class Queue.Queue(maxsize=0)。FIFO即first in first out，先进先出。queue提供了一个基本的FIFO容器，使用方法很简单，maxsiz...
Scrapy爬虫(十)：爬虫总结以及扩展
李燕西的博客
12-28 4681
Scrapy爬虫(十)：爬虫总结以及扩展Scrapy爬虫十爬虫总结以及扩展 爬虫总结 爬虫的一些扩展 最后 爬虫总结本专题介绍了scrapy的框架原理，并用了5个实例由浅入深的进行了演示。还讲到了scrapy的调试技巧，对于入门scrapy爬虫应该有一定的帮助。对于爬虫开发者来说，无非就是分析url、由url下载数据、解析数据，存储数据并应用。对url的分析主要是找规律，应为开发网站的开发者为了框架
scrapy增量式爬虫
weixin_34226706的博客
03-05 234
命令: 1.创建scrapy工程：scrapy startproject projectName 2.创建爬虫文件：scrapy genspider -t crawl spiderName www.xxx.com 　　指令多了 "-t crawl"，表示创建的爬虫文件是基于CrawlSpider这个类的，而不再是Spider这个基类。 3.运行 scrapy crawl spider2...
爬虫个人小结
hujinlong199295的博客
09-21 4121
网络爬虫：爬虫就是模拟客户端发送网络请求，接收请求响应，一种按照一定得规则，自动的爬取互联网信息的程序 原则上来说，只要是浏览器做的事情，原则上，爬虫都能做。 主要用途：数据采集，其他用途，12306抢票，网站上投票，短信轰炸，网络攻击   爬虫分类： 通用爬虫 : 通常指搜索引擎和大型 Web 服务提供商的爬虫 聚焦爬虫 :针对特定网站的爬虫，定向的获取某方面数据的爬虫
什么是网络爬虫？有什么用？怎么爬？终于有人讲明白了
热门推荐
大数据
04-07 6万+
导读：网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代，信息的采集是一项重要的工作，如果单纯靠人力进行信息采集，不仅低效繁琐，...
升级普通Scrapy框架为增量式爬虫（二）
mygodit的博客
11-13 1558
首先需要了解的是，增量爬虫的作用是什么。 日常爬虫应用中，通常会因为一些网络或者人为的原因导致爬虫流程中断，当再次启动爬虫时，又会从头开始，爬取重复的网页，浪费了大量的服务器资源。增量式爬虫最大的作用就是能够断点续爬，上一次的请求从哪里结束，下一次爬虫就从哪里开始。 要想了解增量式爬虫的原理，先让我们了解一下Scrapy框架的运行流程。 Scrapy框架的组成如下图所示: 其流程可以描述如下： ...
增量式PID详细代码
06-02
下面是一个基于Python的增量式PID控制器的详细代码，使用了一个类来封装PID控制器，其中包括了初始化、计算控制量的函数以及输出控制量的函数： ```python class PID: def __init__(self, Kp, Ki, Kd, dt): self.Kp = Kp self.Ki = Ki self.Kd = Kd self.dt = dt self.last_error = 0 self.integral = 0 def compute(self, setpoint, process_value): error = setpoint - process_value self.integral = self.integral + error * self.dt derivative = (error - self.last_error) / self.dt output = self.Kp * error + self.Ki * self.integral + self.Kd * derivative self.last_error = error return output def output(self, output): # 在这里实现控制量输出的代码 ``` 在使用PID控制器时，需要先创建一个PID对象，并传入比例、积分和微分系数以及采样周期。然后，在每个采样周期内，调用compute函数计算控制量的增量值，再通过output函数输出控制量，具体的代码如下： ```python pid = PID(Kp, Ki, Kd, dt) while True: # 获取当前的过程值process_value和设定值setpoint output = pid.compute(setpoint, process_value) pid.output(output) ``` 在实际应用中，还需要对PID控制器进行参数调节，以获得最优的控制效果。常用的方法包括Ziegler-Nichols法、Chien-Hrones-Reswick法等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值