本文详细介绍了Nutch的9个重要命令，包括mergesegs用于合并segment，invertlinks用于反转链接，parsechecker检查URL解析，domainstats计算域名统计，webgraph生成web图，nodedumper查看web图内容，linkrank计算链接分值，freegen从文本生成segment，以及indexchecker检查索引插件。
之前几篇博文对nucth抓取周期的几个命令做了说明，本篇博文将对nutch抓取周期以外的几个重要的命令的使用进行详细的说明。
1. mergesegs
合并多个segment为一个segment。
参数：
参数说明：
- output_dir: 输出目录
- dir：合并路径
命令：
bin/nutch mergesegs data2/segments_all -dir data2/segments/合并结果：
从结果可以看出，是把三个segments合并为了一个segment。
先来看下之前3个segment相关大小：
再来看下合并的结果大小：
从结果来看，大小没有变，是因为数据量比较小，如果数据量很大的话，效果也会相当的明显。另外hadoop对于处理大文件有先天的优势，所以合并的命令有非常大的作用。
合并的命令有3个：
另外两个：mergedb和mergelinkdb的使用方法和mergesegs的使用完全一样，这里不做详细说明。
2. invertlinks
反转连接，得到每一个连接的输入连接库。
参数：
参数说明：
- linkdb: linkdb路径
- dir:输出路径
执行命令：
bin/nutch mergesegs data2/segments_all -dir data2/segments/执行结果：
可以看到，在data目录下面生成了linkdb目录了：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
