[Nutch]Nutch重要命令使用说明

之前几篇博文对nucth抓取周期的几个命令做了说明，本篇博文将对nutch抓取周期以外的几个重要的命令的使用进行详细的说明。

1. mergesegs

合并多个segment为一个segment。
参数：

参数说明：

• output_dir: 输出目录
• dir：合并路径

命令：

bin/nutch mergesegs data2/segments_all -dir data2/segments/

合并结果：

从结果可以看出，是把三个segments合并为了一个segment。

先来看下之前3个segment相关大小：

再来看下合并的结果大小：

从结果来看，大小没有变，是因为数据量比较小，如果数据量很大的话，效果也会相当的明显。另外hadoop对于处理大文件有先天的优势，所以合并的命令有非常大的作用。

合并的命令有3个：

另外两个：mergedb和mergelinkdb的使用方法和mergesegs的使用完全一样，这里不做详细说明。

2. invertlinks

反转连接，得到每一个连接的输入连接库。
参数：

参数说明：

• linkdb: linkdb路径
• dir:输出路径

执行命令：

bin/nutch mergesegs data2/segments_all -dir data2/segments/

执行结果：

可以看到，在data目录下面生成了linkdb目录了：

3. parsechecker

对一个url进行源数据的解析以及文本内容的解析。
参数：

参数说明：

• url：需要check的url。

执行命令：

bin/nutch parsechecker http://www.cnbeta.com

执行结果：


从执行结果可以看出有213条外链，网站签名等信息。

4. domainstats

域统计：从crwaldb中计算域名统计信息。
参数：

参数说明：

• inputDirs：输入目录，为crawldb路径；
• outDir：输出目录。
• host|domain|suffix|tld:从小到大的范围统计。

执行命令：

bin/nutch domainstats data2/crawldb/current/ host host
bin/nutch domainstats data2/crawldb/current/ domian domain
bin/nutch domainstats data2/crawldb/current/ suffix suffix
bin/nutch domainstats data2/crawldb/current/ tld tld

执行结果如下：

再来看看4个目录里面的内容：

5. webgraph

从已经存在的segment从生成一个web graph。
参数：

参数说明：

• segment:单独或者多个的segment目录；
• segmentDir：使用的segment的目录；
• webgraphdb：web graph 数据库路径。

执行命令：

bin/nutch webgraph -segmentDir data2/segments/ -webgraphdb data2/webgraphdb

执行结果：

6. nodedumper

查看web graph的内容。
参数：

参数说明：

• asSequenceFile：是否把输出文件设置为一个序列文件；
• group：根据host或者domain分组；
• inlinks：根据输入连接排序；
• outlinks：根据输出连接排序；
• sorces：根据分数排序；
• output：输出目录；
• topn：根据自然顺序显示N条结果；
• webgraphdb：webgraphdb目录。

执行命令：

bin/nutch nodedumper -topn 1 -inlinks -output inlinks_topn_1 -webgraphdb data2/webgraphdb

执行结果：

查看结果：

执行命令：

bin/nutch nodedumper -topn 1 -outlinks -output outlinks_topn_1 -webgraphdb data2/webgraphdb

执行结果：

查看结果：

执行命令：

bin/nutch nodedumper -topn 1 -scores -output scores_topn_1 -webgraphdb data2/webgraphdb

执行结果：

查看结果：

7. linkrank

计算分值。
参数：

参数说明：

• webgraphdb：webgraphdb的路径。

执行命令：

bin/nutch linkrank -webgraphdb data2/webgraphdb

执行结果：

再来通过nodedumper看下分值：
执行命令：

bin/nutch nodedumper -scores -output after_inject_score -topn 1 -webgraphdb data2/webgraphdb

结果：

从中就可以看到分值了。

8. freegen

轻量级抓取：从文本文件里面生成一个segment，然后对这个segment进行抓取。
参数：

参数说明：

• inputDir：输入路径；
• segmentsDir：segments路径。

执行命令：

mkdir url2
vim url2/url.txt//输入http://cnbbeta.com
bin/nutch freegen url2 data/segments

执行结果：

可以看到生成了新的segment：

9. indexchecker

对当前所配置的索引的插件进行检查。
参数：

参数说明：

• url：需要进行检查的url。

执行命令：

bin/nutch indexchecker httP://www.163.com

执行结果：