nutch1.9知识点及命令与参数

nutch爬虫技术学习知识点

1、Nutch1.x比Nutch2.x稳定

① Nutch2.x可以将数据放到HBase、Mysql等数据库中，但还在开发阶段

② Nutch1.x基于hdfs中SequenceFile文件去存储、管理海量数据；一轮爬取中，将所有的网页都放到content文件夹中，文件夹中存有若干个SequenceFile文件，每一个SequenceFile文件存储的是JAVA对象。

2、Nutch是在Hadoop上运行的

3、Nutch使用Linux Shell进行流程控制

4、Nutch分为几个流程，每一个流程都是由Map Reduce来完成

5、开发工具：Intellij和Netbeans可以兼容eclipse项目，也可以开发Nutch

6、Nutch常用的插件：

(1) URL正规化

(2) 正则过滤器

(3) http请求器

(4) 网页解析器

① 抽取网页中的链接，后面被存放到hdfs中，作为待爬取的链接

② 抽取网页中的信息，例如标题、描述，后面被存放到hdfs中，作为索引阶段提交给索引服务器的数据（用作搜索）。

(5) 网页打分

(6) 索引

(7) 。。。。。。。

一般需要修改的是http请求器和网页解析器

7、

 

nutch爬取数据的流程

执行”bin/crawl urls data http://xxx.xxx.xxx.xxx:8983/solr 轮数”命令的流程：

循环执行：产生-->抓取-->更新

Generator->Fetcher->ParseSegment->CrawlDb update

 

总结如下：

1) 建立初始 URL 集

2) 将 URL 集注入 crawldb 数据库---inject

3) 根据 crawldb 数据库创建抓取列表---generate

4) 执行抓取，获取网页信息---fetch

5) 解析抓取的内容---parse segment  

6) 更新数据库，把获取到的页面信息存入数据库中---updatedb

7) 重复进行 3～5 的步骤，直到预先设定的抓取深度。---这个循环过程被称为“产生/抓取/更新”循环

8) 根据 sengments 的内容更新 linkdb 数据库---invertlinks

9) 建立索引---index

 

抓取完成之后会生成3个数据文件：crawldb、linkdb、segments。

crawldb: 爬行数据库，用来存储所要爬行的网址。

linkdb: 链接数据库，用来存储每个网址的链接地址，包括源地址和链接地址。

segments: 抓取的网址被作为一个单元，而一个segment就是一个单元。

 

1、inject注入url的流程：

 

2、crawldb

crawldb中存放的是url地址，第一次根据所给url  :http://blog.tianya.cn进行注入，然后update crawldb 保存第一次抓取的url地址，下一次即depth=2的时候就会从crawldb中获取新的url地址集，进行新一轮的抓取。

 

crawldb中有两个文件夹：current 和old.  current就是当前url地址集，old是上一次的一个备份。每一次生成新的，都会把原来的改为old。

current和old结构相同 里面都有part-00000这样的一个文件夹（local方式下只有1个） 在part-00000里面分别有data和index两个文件。一个存放数据，一个存放索引。

 

 

nutch的日志记录：

 

 

 

crawldb的状态：

 

说明：

-stats命令是一个快速查看爬取信息的很有用的命令：

 

TOTAL urls：表示当前在crawldb中的url数量。

db_unfetched：链接到已爬取页面但还没有被爬取的页面数（原因是它们没有通过url过滤器的过滤，或者包括在了TopN之外被Nutch丢弃）

db_fetched:表示已爬取和索引的页面，如果其值为0，那肯定出错了。

db_redir_temp和db_redir_perm分别表示临时重定向和永久重定向的页面。

db_gone：表示发生了404错误或者其他一些臆测的错误，这种状态阻止了对其以后的爬取工作。

min score、avg score、max score是分值算法的统计值，是网页重要性的依据。

 

通过-dump参数将抓取到的url输出到文件中查看

 

 

通过-url参数查看具体链接的信息：

 

 

3、segments

每一个segments都是一组被作为一个单元来获取的URL。segments是它本身这个目录以及它下面的子目录：

一个crawl_generate确定了将要被获取的一组URL；

一个crawl_fetch包含了获取的每个URL的状态；

一个content包含了从每个URL获取回来的原始的内容；

一个parse_text包含了每个URL解析以后的文本；

一个parse_data包含来自每个URL被解析后内容中的外链和元数据；

一个crawl_parse包含了外链的URL，用来更新crawldb。

 

每个文件的生成时间：

1.crawl_generate在Generator的时候生成；

2.content,crawl_fetch在Fetcher的时候生成；

3.crawl_parse,parse_data,parse_text在Parse segment的时候生成。

 

查看content内容：

bin/nutch readseg -dump ./data/segments/20140111162237 ./data/crawl_tianya_seg_content -nofetch -nogenerate -noparse -noparsedata -noparsetext

查看crawl_fetch内容：

bin/nutch readseg -dump ./data/segments/20140111162237 ./data/crawl_tianya_seg_fetch -nocontent -nogenerate -noparse -noparsedata -noparsetext

查看crawl_generate内容:

bin/nutch readseg -dump ./data/segments/20140111162237 ./data/crawl_tianya_seg_generate -nocontent -nofetch -noparse -noparsedata -noparsetext

查看crawl_parse内容：

bin/nutch readseg -dump ./data/segments/20140111162237 ./data/crawl_tianya_seg_parse -nofetch -nogenerate -nocontent –noparsedata –noparsetext

查看parse_data内容：

bin/nutch readseg -dump ./data/segments/20140111162237 ./data/crawl_tianya_seg_content -nofetch -nogenerate -noparse -nocontent -noparsetext

查看parse_text内容：

bin/nutch readseg -dump ./data/segments/20140111162237 ./data/crawl_tianya_seg_content -nofetch -nogenerate -noparse -noparsedata -nocontent

 

4.通过readdb及topN参数命令查看按分值排序的url

 

(1) .这里我设定的条件为：前10条，分值大于1

 ./bin/nutch readdb ./data/crawldb -topN 10 ./data/crawldb_topN 1

(2) 不设分值条件，查询前10条

 ./bin/nutch readdb ./data/crawldb -topN 10 ./data/crawldb_topN_all_score