爬虫的爬取策略概念：深度优先 广度优先

最新推荐文章于 2024-03-07 22:31:41 发布
最新推荐文章于 2024-03-07 22:31:41 发布
阅读量3.8k 收藏 2
点赞数 2
分类专栏： 爬虫 python 文章标签： 爬虫 爬取策略
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36574108/article/details/88355689
版权

在爬虫系统中，待抓取URL队列是很重要的一部分，待抓取URL队列中的URL以什么样的顺序排队列也是一个很重要的问题，因为这涉及到先抓取哪个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫做抓取策略。下面是常用的两种策略：深度优先、广度优先

深度优先

深度优先是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后才转入下一个起始页，然后继续追踪
scrapy默认爬取策略就是深度优先

广度(宽度)优先

广度优先，有人也叫宽度优先，是指将新下载网页发现的链接直接插入到待抓取URL队列的末尾，也就是指网络爬虫会先抓取起始页中的所有网页，然后在选择其中的一个连接网页，继续抓取在此网页中链接的所有网页

牛帅兵
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
go语言实现的简单爬虫来爬取CSDN博文
12-22
一般是定义一个入口页面，然后一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。 golang由于其...
Python爬虫 - 理解深度优先和广度优先
老鹰的博客
07-30 4792
爬虫有三大策略——深度优先，广度优先以及不重复抓取 在爬虫系统中，待抓取URL队列是很重要的一部分，待抓取URL队列中的URL以什么样的顺序排队列也是一个很重要的问题，因为这涉及到先抓取哪个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫做抓取策略。下面是常用的两种策略：深度优先、广度优先 。 图1 深度优先...
【python爬虫 系列】1.理解网络爬虫
AI_LINNGLONG的博客
02-20 1806
第一节：理解网络爬虫 1.1网络爬虫的定义 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。 当今最大的网络是互联网，最大的爬虫就是各类搜索引擎，包括谷歌丶百度等。网络爬虫就是按照一定规则去爬去人类所...
深度优先算法DFS（Depth First Search）
Iamme
03-07 1061
不撞南墙不回头。
蜘蛛深度抓取和广度抓取
竞价伴侣
01-13 195
深度抓取：蜘蛛发现一个链接时，会沿着链接路径一直爬行到最深一层，直到不能再爬，返回最初页面爬行下一个链接。 广度抓取：蜘蛛会抓取…
浅谈网络爬虫中广度优先算法和深度优先算法
sinat_32501475的博客
07-29 1681
网络爬虫中广度优先算法和深度优先算法，理论比较简单，实现也比较容易，适用于常规的新闻类网站。 对于数据以接口形式加载的网站，通用性不高；除非使用Selenium等模拟浏览器的方式将样式和数据渲染进网页后，在使用相关的算法进行操作。这种方法可行，但如果有效率限制的话，成本会非常高。...
爬虫扩展——深度优先与广度优先原理
weixin_53919192的博客
04-27 2206
本文为大家介绍网站爬取深度优先与广度优先原理，希望对大家有帮助~~
爬虫的爬取策略： 宽度优先与深度优先
weixin_44550775的博客
10-18 4897
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
19 基于图的深度优先搜索策略（耿 7.10）
voice34的博客
06-20 711
题目 description： 试基于图的深度优先搜索策略编写程序，判别以邻接表方式存储的有向图中，是否存在由顶点 vi 到顶点 vj 的路径（i 不等于 j）。注意：程序中涉及的图的基本操作必须在此存储结构上实现。 input： 第一行输入有向图的顶点数 n 和边数 m，用空格隔开；第二行输入顶点信息；分 m 行输入有向图边的信息，例如顶点对 1,2 表示从顶点 1 到顶点 2 的一条弧。最后一行输入待判别的顶点对 vi,vj.(0<m,n<100) output： 若有向图中存在由顶点 v
19.基于图的深度优先搜索策略
杳杳_柒的博客
06-23 648
#include<stdio.h> #include<stdlib.h> #define max 200 typedef char VertexType; typedef struct AdjVNode *PtrToAdjVNode; typedef struct GNode *PtrToGNode; int visited[max]={0}; typ...
爬虫开发技巧总结和入门教程知识点总结.docx
最新发布
04-07
深度爬虫与广度爬虫：理解两种不同的爬取策略，并能根据需求选择合适的爬取方式。 网络爬虫法律合规：熟悉并遵循各国关于网络爬虫的相关法律法规，尊重版权，不得非法获取和使用受保护的信息。 爬虫策略优化：如...
基于sg+ws搜索的公众号爬虫接口
03-01
遍历链接： 爬虫可以通过分析网页中的链接来发现新的网页，并不断遍历链接从而实现深度或广度的抓取。 去重处理： 为避免重复抓取相同的网页，爬虫需要进行去重处理，通常使用URL指纹、数据指纹等方式来判断网页...
基于java实现网络爬虫(蜘蛛)源码
02-20
2） 广度（宽度）优先和深度优先：表示爬取时的优先级。建议使用广度优先，按深度的层级来顺序爬取。 下面先实现一个单网页数据提取的功能。 使用的技术可以有以下几类： 1） 原生代码实现： 　a) URL类 2） 使用第...
基于java实现网络爬虫(蜘蛛)源码分享
02-20
2） 广度（宽度）优先和深度优先：表示爬取时的优先级。建议使用广度优先，按深度的层级来顺序爬取。 下面先实现一个单网页数据提取的功能。 使用的技术可以有以下几类： 1） 原生代码实现： 　a) URL类 2） 使用第...
python3通过udp实现组播数据的发送和接收
ophlr
05-28 6873
本文主要通过对海康摄像头进行抓包，模拟发送了udp包，并抓取摄像头返回的数据包，解析并提取相关信息。 通过抓包发现，海康摄像头发送、接收数据使用udp协议，后来比较发现，使用python模拟起来比较简单。由于摄像头内置了udp协议的server端程序，本文主要使用python模拟客户端发送udp数据包。 客户端代码 import socket import re ANY = "0.0.0.0" ...
ubuntu下安装更新pip
ophlr
03-06 3516
sudo apt install python3-pip 安装成功后进行更新： sudo pip3 install --upgrade pip 升级完成之后就可以使用pip指令进行包管理了 安装python包 pip install packagename 卸载python包 pip uninstall packagename 列出当前环境下所安装的python包 pip list ...
Ubuntu16.04将python命令指向python3
ophlr
03-06 2129
第一步：将原来的python文件进行备份 sudo cp /usr/bin/python /usr/bin/python_bak 第二步：删除原来指向python2的文件 sudo rm /usr/bin/python 第三步：重新指向python3版本 sudo ln -s /usr/bin/python3.5 /usr/bin/python ...
使用布隆去重代替scrapy_redis(分布式爬虫)自带的dupefilter
ophlr
09-28 1908
使用布隆去重代替scrapy_redis(分布式爬虫)自带的dupefilter Github下载链接：https://github.com/liyaopinner/BloomFilter_imooc 精简版百度云盘链接: https://pan.baidu.com/s/11a_K_6WTifeHTG8lIY5ckQ 提取码: kq73 安装mmh3库 a&gt;使用布隆去重之前需要安装mmh3...
python广度优先爬虫
09-27
广度优先爬虫是一种广泛使用的爬虫策略，它主要用于在网络中搜索特定信息。广度优先算法的优势在于它可以以最快的速度到达目标网页，并且适用于多个爬虫合作抓取的场景。它通过优先抓取与种子网页相邻的重要网页，逐渐扩展搜索范围，直到遍历完整个网络或达到预设的深度。 在Python中，你可以使用广度优先搜索算法来实现爬虫。首先，你需要确定一个起始网页作为种子，并将其加入到待爬取列表中。然后，你可以按照广度优先的原则，从待爬取列表中取出一个网页，解析该网页获取相关信息，并将其链接的网页加入待爬取列表。重复这个过程，直到待爬取列表为空或达到预设的条件。 以下是使用Python实现广度优先爬虫的一般步骤： 1. 确定起始网页作为种子，并将其加入待爬取列表。 2. 创建一个空的结果列表，用于存储爬取到的信息。 3. 使用循环来不断遍历待爬取列表中的网页，直到列表为空。 4. 从待爬取列表中取出一个网页，并解析该网页获取相关信息。 5. 将该网页的链接加入待爬取列表，以便后续继续爬取。 6. 将解析到的信息添加到结果列表中。 7. 重复步骤3至步骤6，直到待爬取列表为空或达到预设的条件。 8. 返回结果列表作为最终的爬取结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值