【Nutch】Nutch的抓取流程

最新推荐文章于 2022-02-16 14:11:24 发布
最新推荐文章于 2022-02-16 14:11:24 发布
阅读量2.9k 收藏 2
点赞数
分类专栏： Nutch - Apache 文章标签： nutch hbase Solr Nutch2.3 Nutch2.x
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moqihao/article/details/47861045
版权

N.B. 本文最重要的部分在第三节对比部分！


1. Nutch抓取流程概述


1.1 抓取流程图示

Inject => Generate => Fetch => Parse => Updatedb => Solrindex

1.2 抓取流程步骤

(1) Inject
Round 1...
(2) Generate
(3) Fetch
(4) Parse
(5) Updatedb
(6) Solrindex
Round 2...
(2) Generate
(3) Fetch
(4) Parse
(5) Updatedb
(6) Solrindex
Round 3...
……

2. 使用命令逐步抓取


Round 1


2.0 Seed Url

<!--
Location:
~/Nutch/data/urls/seed.txt
-->
seed.txt 
http://sannahkvist.se/

种子url是一个瑞典的小清新摄影网站，选这个还有一个原因就是这个网站很简约简洁，没有大量垃圾外链。


2.1 Inject

此步骤将seed urls注入到名为 crawlId + 'webpage' 的 数据库中。数据库中将产生裸Url加各种默认信息。

2.1.1 inject命令

2.1.2 查看数据库

这下知道crawlId是用来干什么的了吧。


数据库中产生了裸Url加各种默认信息。

2.2 Generate

2.2.1 generate命令

2.2.2 查看数据库

较上步变化了

较上步产生了

marker _gnmrk_ : 1440144780-494854742

batchId:   1440144780-494854742

较上步消失了


2.3 Fetch

2.3.1 fetch命令

2.3.2 查看数据库

较上步变化了

status:    2 (status_fetched)      [0(null)]

fetchTime: 1440144966010            [1440144429269]

prevFetchTime:    1440144429269   [0]

protocolStatus:   SUCCESS, args=[] [(null)]

较上步产生了

marker _ftcmrk_ :    1440144780-494854742

metadata _rs_ :   ####

header:    [xxx]

contentType:  text/html

content:start:

[xxx]

content:end:

较上步消失了

metadata _csh_ : ?�##


2.4 Parse

2.4.1 parse命令

2.4.2 查看数据库

较上步变化了

parseStatus:  success/ok (1/0), args=[]   [(null)]

title: Sannah Kvist                      [null]

 较上步产生了

signature: 261c653e067e097acc6dd5dc68072e91

marker __prsmrk__ : 1440144780-494854742

metadata [xxx]

outlink:   http://sannahkvist.se/  

text:start:

[xxx]

text:end:

较上步消失了


2.5 Updatedb

2.5.1 updatedb命令

2.5.2 查看数据库命令

较上步变化了


较上步产生了

marker _updmrk_ :    1440144780-494854742

metadata _csh_ : ####

inlink:    http://sannahkvist.se/  


http://sannahkvist.se/commissioned/    key:   se.sannahkvist:http/commissioned/

baseUrl:   null

status:    1 (status_unfetched) [compare to inject: 0 (null)]

fetchTime: 1440146083913       [compareto inject: 1440144429269]

prevFetchTime:    0

fetchInterval:    2592000

retriesSinceFetch:   0

modifiedTime: 0

prevModifiedTime: 0

protocolStatus:   (null)

parseStatus:  (null)

title: null

score: 0.0                      [compareto inject: 0]

                               [compare toinject: marker_injmrk_:y]

markerdist :     1            [compare to inject: 0]

reprUrl:   null

metadata_csh_ : ####

inlink:    http://sannahkvist.se/   commissioned[compare inject: new]

较上步消失了

marker __prsmrk__ : 1440144780-494854742

marker_gnmrk_ : 1440144780-494854742

marker_ftcmrk_ :    1440144780-494854742


2.6 Solrindex

2.6.1 solrindex命令


较上步变化了

较上步产生了
marker _idxmrk_ : 1440144780-494854742
较上步消失了


Round 2


2.2 generate

2.3 fetch

lhd@master:~/Nutch/apache-nutch-2.3/runtime/local/bin$ ./nutch fetch-all -crawlId photo
FetcherJob: starting at 2015-08-21 21:52:26
FetcherJob: fetching all
FetcherJob: threads: 10
FetcherJob: parsing: false
FetcherJob: resuming: false
FetcherJob : timelimit set for : -1
Using queue mode : byHost
Fetcher: threads: 10
QueueFeeder finished: total 3 records. Hit by time limit :0
fetchinghttp://sannahkvist.se/commissioned/i-rymden-finns-inga-kanslor/ (queue crawldelay=5000ms)
Fetcher: throughput threshold: -1
Fetcher: throughput threshold sequence: 5
10/10 spinwaiting/active, 1 pages, 0 errors, 0.2 0 pages/s, 10 10kb/s, 2 URLs in 1 queues
* queue: http://sannahkvist.se
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1440165160919
  now           = 1440165157995
  0.http://sannahkvist.se/commissioned/
  1.http://sannahkvist.se/commissioned/flickan/
fetching http://sannahkvist.se/commissioned/ (queue crawldelay=5000ms)
10/10 spinwaiting/active, 2 pages, 0 errors, 0.2 0 pages/s, 9 7kb/s, 1 URLs in 1 queues
* queue: http://sannahkvist.se
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime =1440165167259
  now           = 1440165162997
  0. http://sannahkvist.se/commissioned/flickan/
fetching http://sannahkvist.se/commissioned/flickan/ (queue crawldelay=5000ms)
-finishing thread FetcherThread5, activeThreads=9
-finishing thread FetcherThread8, activeThreads=8
-finishing thread FetcherThread6, activeThreads=7
-finishing thread FetcherThread2, activeThreads=6
-finishing thread FetcherThread1, activeThreads=5
-finishing thread FetcherThread3, activeThreads=4
-finishing thread FetcherThread4, activeThreads=3
-finishing thread FetcherThread7, activeThreads=2
-finishing thread FetcherThread9, activeThreads=1
0/1 spinwaiting/active, 2 pages, 0 errors, 0.1 0 pages/s, 6 0 kb/s,0 URLs in 1 queues
-finishing thread FetcherThread0, activeThreads=0
0/0 spinwaiting/active, 3 pages, 0 errors, 0.2 0 pages/s, 8 13 kb/s,0 URLs in 0 queues
-activeThreads=0
FetcherJob: finished at 2015-08-21 21:52:53, time elapsed: 00:00:27


2.4 parse

2.5 updatedb

2.6 solrindex


Round 3

……


!!!3. 对比

Round 1

本表（表1）给出了第一轮爬取流程中每一步产生，消失，变化的一些数据。其中 蓝色是较上步发生变化的一些数据， 红色是较上步新产生的一些数据，而较上步消失的数据就在本步中再未出现。需要注意的是，在updatedb步之后，新解析出来的一些urls也加入到了数据库中。表2的第三列[NEW ADDED URL AFTER updatedb round 1]就是从这些新产生的Urls中选了一条url来与Round 1的Inject步骤做了对比。

 表1

Inject

Generate

Fetch

Parse

Updatedb

Solrindex

key:

se.sannahkvist:http/

se.sannahkvist:http/

se.sannahkvist:http/

se.sannahkvist:http/

se.sannahkvist:http/

se.sannahkvist:http/

baseUrl:

null

null

null

null

null

null

status:

0 (null)

0 (null)

2 (status_fetched)

2 (status_fetched)

2 (status_fetched)

2 (status_fetched)

fetchTime:

1440144429269

1440144429269

1440144966010

1440144966010

1440144966010

1440144966010

prevFetchTime:

0

0

1440144429269

1440144429269

1440144429269

1440144429269

fetchInterval:

2592000

2592000

2592000

2592000

2592000

2592000

retriesSinceFetch:

0

0

0

0

0

0

modifiedTime:

0

0

0

0

0

0

prevModifiedTime

0

0

0

0

0

0

protocolStatus:

(null)

(null)

SUCCESS, args=[]

SUCCESS, args=[]

SUCCESS, args=[]

SUCCESS, args=[]

signature:

 

 

 

261c653e067e097acc6dd5dc68072e91

261c653e067e097acc6dd5dc68072e91

261c653e067e097acc6dd5dc68072e91

parseStatus:

(null)

(null)

(null)

success/ok (1/0), args=[]

success/ok (1/0), args=[]

success/ok (1/0), args=[]

title:

null

null

null

Sannah Kvist

Sannah Kvist

Sannah Kvist

score:

1.0

1.0

1.0

1.0

1.0

1.0

marker _injmrk_

y

y

y

y

y

y

marker _updmrk_

 

 

 

 

1440144780-494854742

1440144780-494854742

marker__prsmrk__

 

 

 

1440144780-494854742

 

 

marker _gnmrk_

 

1440144780-494854742

1440144780-494854742

1440144780-494854742

 

 

marker _ftcmrk_

 

 

1440144780-494854742

1440144780-494854742

 

 

marker _idxmrk_

 

 

 

 

 

1440144780-494854742

marker dist :

0

0

0

0

0

0

reprUrl:

null

null

null

null

null

null

batchId:

 

1440144780-494854742

1440144780-494854742

1440144780-494854742

1440144780-494854742

1440144780-494854742

metadata _csh_ :

?�##

?�##

 

 

####

####

metadata _rs_ :

 

 

####

####

####

####

metadata:

 

 

 

xxx

xxx

xxx

outlink:

 

 

 

http://sannahkvist.se/

http://sannahkvist.se/

http://sannahkvist.se/

inlink:

 

 

 

 

http://sannahkvist.se/

http://sannahkvist.se/

header:

 

 

xxx

xxx

xxx

xxx

contentType:

 

 

text/html

text/html

text/html

text/html

content:start:

content:end:

 

 

xxx

xxx

xxx

xxx

text:start:

text:end:

 

 

 

xxx

xxx

xxx


Change after updatedb round 1 & 2

有新的种子产生。

本表（表2）就是将第一轮的inject步骤过后种子url的状态与第一轮第二轮updatedb步骤之后新产生的url的状态做了个对比。


 表2

Inject

NEW ADDED URL AFTER updatedb round 1

NEW ADDED URL AFTER updatedb round 2

key:

se.sannahkvist:http/

se.sannahkvist:http/commissioned/

com.imdb.www:http/title/tt1342378/

baseUrl:

null

null

null

status:

0 (null)

1 (status_unfetched)

1 (status_unfetched)

fetchTime:

1440144429269

1440146083913

1440166605303

prevFetchTime:

0

0

0

fetchInterval:

2592000

2592000

2592000

retriesSinceFetch:

0

0

0

modifiedTime:

0

0

0

prevModifiedTime

0

0

0

protocolStatus:

(null)

(null)

(null)

signature:

 

 

 

parseStatus:

(null)

(null)

(null)

title:

null

null

null

score:

1.0

0.0

0.0

marker _injmrk_

y

 

 

marker _updmrk_

 

 

 

marker__prsmrk__

 

 

 

marker _gnmrk_

 

 

 

marker _ftcmrk_

 

 

 

marker _idxmrk_

 

 

 

marker dist :

0

1

2

reprUrl:

null

null

null

batchId:

 

 

 

metadata _csh_ :

?�##

####

####

metadata _rs_ :

 

 

 

metadata:

 

 

 

outlink:

 

 

 

inlink:

 

http://sannahkvist.se/

http://sannahkvist.se/commissioned/flickan/

header:

 

 

 

contentType:

 

 

 

content:start:

content:end:

 

 

 

text:start:

text:end:

 

 

 


Round 2

本表（表3）是将上表第三列用来做对比的url拿出来，再与第二轮其他步骤过后种子的状态变化做了一个对比。
需要注意的是，同样在updatedb步之后，新解析出来的一些urls也加入到了数据库中。表2的第四列[NEW ADDED URL AFTER updatedb round 2]就是从这些新产生的Urls中选了一条url来与Round 1的Inject步骤做了对比。

 表3

NEW ADDED URL AFTER updatedb 1

generate

fetch

parse

updatedb

solrindex

key:

se.sannahkvist:http/commissioned/

se.sannahkvist:http/commissioned/

se.sannahkvist:http/commissioned/

se.sannahkvist:http/commissioned/

se.sannahkvist:http/commissioned/

se.sannahkvist:http/commissioned/

baseUrl:

null

null

null

null

null

null

status:

1 (status_unfetched)

1 (status_unfetched)

2 (status_fetched)

2 (status_fetched)

2 (status_fetched)

2 (status_fetched)

fetchTime:

1440146083913

1440146083913

1440165162261

1440165162261

1440165162261

1440165162261

prevFetchTime:

0

0

1440146083913

1440146083913

1440146083913

1440146083913

fetchInterval:

2592000

2592000

2592000

2592000

2592000

2592000

retriesSinceFetch:

0

0

0

0

0

0

modifiedTime:

0

0

0

0

0

0

prevModifiedTime

0

0

0

0

0

0

protocolStatus:

(null)

(null)

SUCCESS, args=[]

SUCCESS, args=[]

SUCCESS, args=[]

SUCCESS, args=[]

signature:

 

 

 

c02daceb65a33aaba8fc075b4e1afe37

c02daceb65a33aaba8fc075b4e1afe37

c02daceb65a33aaba8fc075b4e1afe37

parseStatus:

(null)

(null)

(null)

success/ok (1/0), args=[]

success/ok (1/0), args=[]

success/ok (1/0), args=[]

title:

null

null

null

commissioned × Sannah Kvist

commissioned × Sannah Kvist

commissioned × Sannah Kvist

score:

0.0

0.0

0.0

0.0

0.0

0.0

marker _injmrk_

 

 

 

 

 

 

marker _updmrk_

 

 

 

 

1440164632-449570503

1440164632-449570503

marker__prsmrk__

 

 

 

1440164632-449570503

 

 

marker _gnmrk_

 

1440164632-449570503

1440164632-449570503

1440164632-449570503

 

 

marker _ftcmrk_

 

 

1440164632-449570503

1440164632-449570503

 

 

marker _idxmrk_

 

 

 

 

 

1440164632-449570503

marker dist :

1

1

1

1

1

1

reprUrl:

null

null

null

null

null

null

batchId:

 

1440164632-449570503

1440164632-449570503

1440164632-449570503

1440164632-449570503

1440164632-449570503

metadata _csh_ :

####

####

 

 

####

####

metadata _rs_ :

 

 

####

####

####

####

metadata:

 

 

 

xxx

xxx

xxx

outlink:

 

 

 

http://sannahkvist.se/

http://sannahkvist.se/

http://sannahkvist.se/

inlink:

http://sannahkvist.se/

http://sannahkvist.se/

http://sannahkvist.se/

http://sannahkvist.se/

http://sannahkvist.se/commissioned/flickan/

http://sannahkvist.se/commissioned/i-rymden-finns-inga-kanslor/

http://sannahkvist.se/commissioned/

http://sannahkvist.se/commissioned/flickan/

http://sannahkvist.se/commissioned/i-rymden-finns-inga-kanslor/

http://sannahkvist.se/commissioned/

header:

 

 

xxx

xxx

xxx

xxx

contentType:

 

 

text/html

text/html

text/html

text/html

content:start:

content:end:

 

 

xxx

xxx

xxx

xxx

text:start:

text:end:

 

 

 

xxx

xxx

xxx


Change after updatedb round 2

在第二轮进行updatedb 操作之后，种子url也发生了变化，原因是种子url也出现在了这次爬取的urls中的outlinks。就跟产生了一个和种子url一样的新url。

本表（表4）是第二轮进行updatedb操作之后种子url产生的变化与第一轮solrindex步骤之后的种子url状态的一个对比。


 表4

Solrindex 1

updatedb 2

key:

se.sannahkvist:http/

se.sannahkvist:http/

baseUrl:

null

null

status:

2 (status_fetched)

1 (status_unfetched)

fetchTime:

1440144966010

1440166605317

prevFetchTime:

1440144429269

1440144429269

fetchInterval:

2592000

2592000

retriesSinceFetch:

0

0

modifiedTime:

0

0

prevModifiedTime

0

0

protocolStatus:

SUCCESS, args=[]

SUCCESS, args=[]

signature:

261c653e067e097acc6dd5dc68072e91

261c653e067e097acc6dd5dc68072e91

parseStatus:

success/ok (1/0), args=[]

success/ok (1/0), args=[]

title:

Sannah Kvist

Sannah Kvist

score:

1.0

0.0

marker _injmrk_

y

y

marker _updmrk_

1440144780-494854742

 

marker__prsmrk__

 

 

marker _gnmrk_

 

 

marker _ftcmrk_

 

 

marker _idxmrk_

1440144780-494854742

 

marker dist :

0

2

reprUrl:

null

null

batchId:

1440144780-494854742

1440144780-494854742

metadata _csh_ :

####

####

metadata _rs_ :

####

 

metadata:

xxx

xxx

outlink:

http://sannahkvist.se/

http://sannahkvist.se/

inlink:

http://sannahkvist.se/

http://sannahkvist.se/commissioned/flickan/ 

http://sannahkvist.se/commissioned/i-rymden-finns-inga-kanslor/   

http://sannahkvist.se/commissioned/   

header:

xxx

xxx

contentType:

text/html

text/html

content:start:

content:end:

xxx

xxx

text:start:

text:end:

xxx

xxx


Solr服务器的变化


1. 在未开始任何nutch任务之前：




在完成第一轮抓取任务之后：




在完成第二轮抓取任务之后：




END!

玉衡瑶光
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Nutch工作流程
RZ.M
08-12 1941
Nutch工作流程：建立初始URL集合分析 初始URL集的建立有两种方式：超链接和站长提交。 超链接 是指机器人程序根据网页链到其他网页中的超链接，就像日常生活中所说的“一传十，十传百……”一样，从少数几个网页开始，连到数据库上所有到其他网页的链接。理论上，若网页上有适当的超
nutch工作流程简介
Horizon_wing的博客
07-19 869
先用一幅图来形容nutch的工作流程：  先对上图做一个简单说明，图中标的数字为nutch工作的顺序。它的基本流程可分为两部分，即抓取部分和搜索部分： 一、抓取部分（网络爬虫） 1.建立初始URL集 2.将URL集注入crawlDB数据库（inject包） ３. 根据crawldb数据库创建抓取列表---generate ４.执行抓取，获取网页信息---
Nutch 快速入门(Nutch 2.2.1)
gywtzh0889的专栏
03-03 793
Nutch 2.x 与 Nutch 1.x 相比，剥离出了存储层，放到了gora中，可以使用多种数据库，例如Hbase, Cassandra, MySQL来存储数据了。Nutch 1.7 则是把数据直接存储在HDFS上。 1. 安装并运行HBase 为了简单起见，使用Standalone模式，参考 HBase Quick start 1.1 下载，解压 wget htt
Nutch开发（三）
qq_43203949的博客
02-16 393
Nutch开发（三） 文章目录Nutch开发（三）开发环境1.Nutch url过滤2.示例3.在Solr建立index关于solr字段的配置4.关于Nutch plugin5.关于Nutch的默认配置信息6.使用metadata plugin7.Nutch2.4 存储方式配置 开发环境 Linux，Ubuntu20.04LST IDEA Nutch1.18 Solr8.11 转载请声明出处！！！By 鸭梨的药丸哥 1.Nutch url过滤 Nutch的url过滤配置主要放在regex-urlfilt
分析Nutch的工作流程
nhy520
05-10 215
Nutch的大致工作流程可以通过上一篇文章有了一定的了解了。在上一篇文章中，主要是针对一幅Nutch工作流程图片来了解Nutch的工作流程，十分感性，并没有涉及到任何关于Nutch的包和类。这里通过在网上下载的一个《Nutch入门学习》的PDF文档中介绍的内容，来详细组织一下，加深了解，为深入研究Nutch的源代码奠定良好的基础。 这里通过几个标题来叙述。 Nutch爬虫工作策略 Nutch...
nutch-analysis.rar_nutch
最新发布
09-23
2. **URL选择**: Nutch使用一种基于优先级的算法来决定下一个要抓取的URL，优先级通常基于URL的最后抓取时间、链接深度和域名的抓取频率等因素。 3. **网页抓取**: Nutch通过HTTP协议下载网页内容，将其保存为WARC...
nutch2.2.1安装步骤.docx
09-21
Apache Nutch 是一个开源的网络爬虫框架，用于抓取互联网上的网页并建立索引，以便进行全文搜索。Nutch 2.2.1 是一个稳定版本，它依赖于其他几个组件来完成其功能，包括 Apache Ant、Apache Tomcat、Java 开发工具包...
nutch流程解析.doc
12-07
Nutch 是一个开源的全文搜索引擎，它主要用于网络数据的抓取和索引。...通过以上七个步骤，Nutch 完成了从 URL 注入到索引创建的整个流程，有效地实现了网络数据的抓取、处理和索引，为后续的搜索服务提供了基础。
Nutch2.3.1 环境搭建
04-11
Nutch2.3.1是Apache Nutch的一个稳定版本，它是一个开源的网络爬虫框架，主要用于抓取、解析和索引互联网上的网页内容。在本文中，我们将深入探讨如何搭建Nutch2.3.1的运行环境，以便进行网页抓取和分析。 **一、...
Windows下配置nutch
06-07
【Nutch 知识点详解】 ...通过以上步骤，你可以在 Windows 上成功配置并运行 Nutch，进行网页抓取和搜索。不过需要注意，由于 Nutch 主要设计在 Linux 环境下，Windows 上可能遇到兼容性问题，需要仔细调试和解决。
lucene2.4+nutch学习笔记三：lucene　在多个文本文档里找出包含一些关键字的文档
03-16
NULL 博文链接：https://chenhua-1984.iteye.com/blog/380779
Hadoop-2.4.0+Hbase-0.94.18+Nutch-2.3集群爬虫配置攻略
12-23
使用github中最新的nutch-2.x源码，奋战10天拿下的Hadoop-2.4.0+Hbase-0.94.18+Nutch-2.3配置攻略，在ubuntu14.04上成功运行本地和分布式爬虫。文档详细描述了三者版本不兼容问题的解决方案以及各个配置文件的详细配置。忠诚奉献给各位，如果有什么问题，请留言！
nutch架构图
08-13
想学nutch的和想入门nutch的可以看看，了解架构
Apache Nutch 开源搜索引擎 v2.4
09-28
为您提供Apache Nutch 开源搜索引擎下载，Nutch的创始人是Doug Cutting，他同时也是Lucene、Hadoop和Avro开源项目的创始人。Nutch诞生于2002年8月，是Apache旗下的一个用Java实现的开源搜索引擎项目，自Nutch1.2版本之后，Nutch已经从搜索引擎演化为网络爬虫，接着Nutch进一步演化为两大分支版本：1.X和2.X，这两大分支最大的区别在于2.X对底层的数据存储进行了抽象以支持各种底层存储技
Nutch爬虫工作流程及文件格式详细分析
07-27
Nutch爬虫工作流程及文件格式详细分析，文档不大
Nutch抓取数据内容的详解
yhcelebrite的专栏
04-30 3045
之前以sina和csdn的blog为seed进行抓取，都出现Stopping at depth=1 - no more URLs to fetch. 所以最终以http://www.tianya.cn/blog/为例进行数据抓取，然后对抓取的数据内容进行解析： 命令：$ bin/nutch crawl tianya -dir crawl_tianya -depth 3 -topN 10（存放s
Nutch抓取流程
weixin_34179968的博客
10-11 132
nutch抓取流程注入起始url(inject)、生成爬取列表(generate)、爬取(fetch)、解析网页内容(parse)、更新url数据库(updatedb)1:注入起始url(inject) org.apache.nutch.crawl.Injector 注入待抓取URL,因为Nutch的抓取程序要抓取网页，肯定需要有一个或者多个入口url。 nutch会按照广度优先策略(一般有广度优...
nutch的基本工作流程理解
coco_ethan的专栏
12-02 175
（一）：Nutch的工作流程： Crawdb、linkdb 是web link目录，存放url及url的互联关系，作为爬行与重新爬行的依据。 segments 是主目录，存放抓回来的网页。页面内容有bytes[]的raw content和parsed text的形式。nutch以广度优先的原则来爬行，因此每爬完一轮会生成一个segment目录。 index 是lucene的...
Nutch源码解析：工作策略与抓取技术详解
Nutch的工作流程主要包括累积式抓取和增量式抓取两种策略。累积式抓取是从一个起始点开始，持续抓取所有能处理的网页，适用于数据集合的建立或大规模更新。增量式抓取则是对已有数据集合进行补充，优先抓取过时或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值