筑梦者

上篇博客介绍了一下nutch的下载和构建,这篇主要分享一下nutch的简单爬取,和爬取流程 在主目录下运行bin/nutch 会看到   crawl             one-step crawler for intranets (DEPRECATED - USE CRAWL SCRIPT INSTEAD)   readdb            read / dump craw

1、 nutch的存储文件夹data下面各个文件夹和文件里面的内容究竟是什么？   crawl             one-step crawler for intranets (DEPRECATED - USE CRAWL SCRIPT INSTEAD)   readdb            read / dump crawl db   mergedb           merge

1、 大merge和3大read命令阐释--用来合并内容进行空间压缩 bin/nutch  |  grep merge bin/nutch  |  grep read bin/nutch  mergesegs  data/segments_all  -dir  data/segments 2、 反转链接 --生成linkdb bin/nutch  invertlinks  data/li

最近一段时间利用空余时间学习了一下关于nutch的简单的入门知识.现在看到单机版刚刚结束的地方,再研究下去的话就要涉及到hadoop的相关知识.这篇博客主要分享一下nutch单机版的一点入门知识. 本篇主要说的是nutch1.6版本的.在liunx系统上运行,先从svn中下载下来 如果没有安装svn 可以使用 yum安装 命令如下: yum install subversion yum相关