nutch-1.2和nutch-1.3的配置使用

一年多以前简单试用过nutch，但半途而废，打算再次学习一下。

前几天先去nutch官网下了最新的nutch-1.3版，依照wiki说明，在windows+cygwin+eclipse中完成配置。

http://wiki.apache.org/nutch/RunNutchInEclipse（对应nutch-1.3）

http://wiki.apache.org/nutch/NutchTutorial

wiki上有一点写的是“change the property "plugin.folders" to "./src/plugin" on $NUTCH_HOME/conf/nutch-site.xml”

我用的是

<property>
<name>plugin.folders</name>
<value>E:\nutch-1.3\runtime\local\plugins</value>
<description>Directories where nutch plugins are located. Each
element may be a relative or absolute path. If absolute, it is used
as is. If relative, it is searched for on the classpath.</description>
</property>

另外，在cygwin使用命令“bin/nutch crawl urls -dir crawl -depth 3 -topN 50”出错，

bin/nutch: line 251: exec: E:\Program: not found

因为我的java是装在E:\Program Files\java文件夹的。（如果直接装在根目录，估计不会产生这个问题。）

在网上搜索到类似的问题，且在完整安装的cygwin中使用nutch-1.2是没有这个问题的。

于是对比两个版本的bin/nutch文件，原来是因为nutch-1.3中的bin/nutch脚本里使用了“EXEC_CALL="$JAVA $JAVA_HEAP_MAX $NUTCH_OPTS -classpath $CLASSPATH"”来引用变量，只要修改成nutch-1.2的方式即可。

即修改E:\nutch-1.3\src\bin和E:\nutch-1.3\runtime\local\bin两个文件夹内的nutch脚本的第251行为：

exec "$JAVA" $JAVA_HEAP_MAX $NUTCH_OPTS -classpath "$CLASSPATH" $CLASS "$@"

改后即可成功运行。

 

另外在虚拟机中eclipse测试的时候出现一个问题：

solrUrl is not set, indexing will be skipped...
crawl started in: crawl
rootUrlDir = urls
threads = 10
depth = 3
solrUrl=null
topN = 50
Injector: starting at 2011-10-24 17:44:15
Injector: crawlDb: crawl/crawldb
Injector: urlDir: urls
Injector: Converting injected urls to crawl db entries.
Exception in thread "main" java.io.IOException: Job failed!
 at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
 at org.apache.nutch.crawl.Injector.inject(Injector.java:217)
 at org.apache.nutch.crawl.Crawl.run(Crawl.java:126)
 at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
 at org.apache.nutch.crawl.Crawl.main(Crawl.java:54)

查看hadoop.log发现发现是java内存不够。

2011-10-24 22:49:30,980 INFO  crawl.Injector - Injector: Converting injected urls to crawl db entries.
2011-10-24 22:49:35,530 WARN  mapred.LocalJobRunner - job_local_0001
java.lang.OutOfMemoryError: Java heap space
 at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:781)
 at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:350)
 at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
 at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)

原因是默认的虚拟机内存太低（512M和eclipse的xmx设置相同，这也导致eclipse响应很慢），增加内存即可解决这个问题。

 

在搜索nutch配置使用的文章时，发现网上已有不少关于nutch-1.2的博文，nutch-1.3的则较少。

nutch-1.2及之前的版本都是使用tomcat提供web服务的，nutch-1.3作出变化，使用solr。

为了避免学习过程中的孤独感，决定使用nutch-1.2了。

一些可以学习借鉴的博文链接：

nutch-1.2研究—基本使用相关说明（包括修改中文搜索乱码）

Nutch 二次开发需要修改的东西

linux下部署nutch-1.2