Apache Nutch 1.13使用备注

为什么80%的码农都做不了架构师？>>>   

下载apache-nutch-1.13-bin.zip使用。

和好多文档提到的不同，它默认只开启了ealsticsearch的索引，所以不论你怎么执行 nutch solrIndex都会报错。你需要在 conf/nutch-site.xml 的 ** <name>plugin.includes</name>**里面添加 indexer-solr 删除 indexer-elastic 然后那些文档就好使了。

当然，如果直接使用的就是elastich search，只需要把<name>elastic.host</name>和<name>elastic.cluster</name> 配置上就好使了。

两个样本指令

bin/nutch index  crawl/crawldb/ -linkdb crawlinkdb/ crawl/segments/* -filter -normalize -deleteGone

bin/crawl -i  urls/ crawl/  2

转载于:https://my.oschina.net/lxbzj/blog/913005