爬虫的分类

最新推荐文章于 2023-02-07 10:13:39 发布
最新推荐文章于 2023-02-07 10:13:39 发布
阅读量423 收藏
点赞数
分类专栏： Python 文章标签： python 网络 其他
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43398327/article/details/105128358
版权

通用爬虫和聚焦爬虫

根据使用场景，网络爬虫可分为通用爬虫和聚焦爬虫两种

通用爬虫

通用网络爬虫 是搜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

聚焦爬虫

聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

邢小天(｡･ω･｡)♡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫的分类和爬虫的流程
lizoe_的博客
01-16 890
1. 爬虫的分类 根据被爬网站的数量的不同，我们把爬虫分为： 通用爬虫 ：通常指搜索引擎的爬虫 聚焦爬虫 ：针对特定网站的爬虫 2.爬虫的流程 请思考：如果自己要实现一个和百度新闻一样的网站需要怎么做？ 2.1 聚焦爬虫的工作流程如下： 2.2 搜索引擎的工作流程如下： 但是搜索引擎类似的通用爬虫的工作流程有些不同 2.3 搜索引擎的局限性 通用搜索引擎所返回的网页里90%的内容...
爬虫的种类
weixin_34315485的博客
11-02 135
通用爬虫：搜索引擎用的爬虫系统 目标：尽可能的互联网上所有的网页下载下来，放到本地形成备份， 再对这些网页进行相关处理(提取关键字，去除广告)，最后提供一个 用户可用的接口。 抓取流程： 1.首先取一部分已有的URL，把这些URL放到待爬取队列。 2.从队列里取出这些URL,然后通过DNS得到主机IP,然后去...
cq_data.rar_UCI 数据集_cqdata_test_爬虫_爬虫分类
09-23
标签进一步细化了主题，提到了“uci_数据集”，“cqdata test”，“爬虫”和“爬虫分类”。这些标签强化了数据集来源、用途以及它是如何被创建的。 压缩包内的文件“cq_data.csv”很可能是一个CSV（Comma Separated...
第一个爬虫——斗鱼分类下的人气排行
12-22
from urllib import request from io import BytesIO import gzip import re class Spider(): def __init__(self): ... self.root_pattern='\n([\\s\\S]*?)\n\n' self.number_pattern='([\\s\\S]*?...
2.1_爬虫的分类与作用2
08-08
爬虫的分类与作用 爬虫（Web Crawler）是自动抓取网页内容的程序，它可以按照设定的规则和优先级，自动地从互联网上抓取指定的网页内容，并将其存储在本地服务器上。爬虫广泛应用于搜索引擎、数据挖掘、机器学习等...
自动分类爬虫代码.txt
11-14
一个相当好用超好用带深度学习全能自动分类深度爬虫软件，可爬深度相当奥利给，用了的都说好
常见网络爬虫的类型
热门推荐
小菜鸟的博客
10-15 1万+
1.通用网络爬虫（General Purpose Web Crawler）  爬取目标资源在全互联网中，爬取目标数据巨大。对爬取性能要求非常高。应用于大型搜索引擎中，有非常高的应用价值。 通用网络爬虫的基本构成：初始URL集合，URL队列，页面爬行模块，页面分析模块，页面数据库，链接过滤模块等构成。 通用网络爬虫的爬行策略：主要有深度优先爬行策略和广度优先爬行策略。 2.聚焦网络爬虫（Foc...
爬虫大概分类
不爱读书的小孩-博客
11-02 5665
网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的 [1] 。 通用网络爬虫 通用网络爬虫又称...
网络爬虫的分类
Vincarose的博客
11-15 1174
在实际的完整爬虫工作中，通常有几类爬虫的组合体构成的。爬虫按照实现的技术和结构可以分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫等类型。
1-5爬虫的分类
yuhui_2000的博客
07-06 185
根据被爬取网站的数量不同，可以分为： 通用爬虫，如搜索引擎 聚焦爬虫，如12306抢票，或专门抓取某一个（某一类）网站数据 根据是否以获取数据为目的，可以分为： 功能性爬虫，给你喜欢的明星投票、点赞 数据增量爬虫，比如招聘信息 根据url地址和对应的页面内容是否改变，数据增量爬虫可以分为： 基于url地址变化、内容也随之变化的数据增量爬虫 url地址不变、内容变化的数据增量爬虫 爬虫的分类 ...
1 爬虫的分类,爬虫的流程
yang_joker的博客
07-11 768
在上一小结中，我们介绍爬虫爬取到的数据用途的时候，给大家举了两个例子，其实就是两种不同类型的爬虫根据被爬网站的数量的不同，我们把爬虫分为：通用爬虫 ：通常指搜索引擎的爬虫（https://www.baidu.com）聚焦爬虫 ：针对特定网站的爬虫请思考：如果自己要实现一个和百度新闻一样的网站需要怎么做？爬虫的工作流程：向起始url发送请求，并获取响应对响应进行提取如果提取url，则继续发送请求获取...
python爬虫可分为
凡尘
11-20 1279
1．获取网页 获取网页的基础技术：requests、urllib和selenium、pyquery。 获取网页的进阶技术：多进程多线程抓取、登录抓取、突破IP封禁和使用服务器抓取。 2．解析网页 解析网页的基础技术：re正则表达式、BeautifulSoup和lxml。 解析网页的进阶技术：解决中文乱码。 3．存储数据 存储数据的基础技术：存入txt文件和存入csv文件。 存储数据的进阶技术：存入MySQL数据库和MongoDB数据库。 4.熟悉 正则、Xpath、bs4、 研究爬虫策略和
爬虫--Scrapy-参数等级和请求传参
weixin_30824277的博客
12-09 78
日志等级 日志等级(种类)： ERROR：错误 WARNING：警告 INFO：一般信息 DEBUG：调试信息（默认） 指定输入某一中日志信息： settings:LOG_LEVEL = ‘ERROR’ 将日志信息存储到制定文件中，而并非显示在终端里： settings：LOG_FILE = ‘log.txt’ 请求传参：...
python爬虫是什么？爬虫可以分为哪几类？
2201_75735270的博客
02-07 1638
python爬虫是什么？爬虫可以分为哪几类？
常见的爬虫分类及用途？
最新发布
06-08
常见的爬虫分类及用途如下： 1. 通用爬虫：能够爬取互联网上的所有网站，并且可以自动抓取网页上的所有链接。常用于搜索引擎的数据采集。 2. 聚焦爬虫：只爬取特定网站或特定类型的页面，可以根据关键词来进行搜索...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值