[Nutch]Nutch重要命令使用说明

之前几篇博文对nucth抓取周期的几个命令做了说明，本篇博文将对nutch抓取周期以外的几个重要的命令的使用进行详细的说明。

1. mergesegs

合并多个segment为一个segment。
参数：

参数说明：

• output_dir: 输出目录
• dir：合并路径

命令：

bin/nutch mergesegs data2/segments_all -dir data2/segments/

合并结果：

从结果可以看出，是把三个segments合并为了一个segment。

先来看下之前3个segment相关大小：

再来看下合并的结果大小：

从结果来看，大小没有变，是因为数据量比较小，如果数据量很大的话，效果也会相当的明显。另外hadoop对于处理大文件有先天的优势，所以合并的命令有非常大的作用。

合并的命令有3个：

另外两个：mergedb和mergelinkdb的使用方法和mergesegs的使用完全一样，这里不做详细说明。

2. invertlinks

反转连接，得到每一个连接的输入连接库。
参数：

参数说明：

• linkdb: linkdb路径
• dir:输出路径

执行命令：

bin/nutch mergesegs data2/segments_all -dir data2/segments/

执行结果：

可以看到，在data目录下面生成了linkdb目录了：