nutch在windows下的配置

nutch0.9+Tomcat6在windows下的配置，还需要下载一个Cygwin类UNIX模拟环境，当然在linux环境下可以跳过这个。

在nutch-0.9目录下新建一个weburls.txt，用于存放入口网页地址，如http://www.view.sdu.edu.cn/。然后在nutch-0.9/conf/crawl-urlfilter.txt文件里修改以下地方：在

# accept hosts in MY.DOMAIN.NAME
#+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/

后面添加+^http://www.view.sdu.edu.cn/这一行。

在nutch-0.9/conf/nutch-site.xml文件里的配置里添加以下：

<property>
<name>http.agent.name</name>
<value>*</value>
<description>localweb.com</description>
</property>
<property>
<name>searcher.dir</name>
<value>D:\nutch\nutch-0.9\localweb</value>
<description></description>
</property>

然后打开Cygwin，到nutch-0.9的目录下，敲入命令行 bin/nutch crawl weburls.txt -dir localweb -depth 2 -topN 100 -threads 2，然后回车等待下载。下载完成后，将nutch-0.9目录下的nutch-