windows下安装nutch

上学期跟同学一起做了个校园搜索引擎，虽然最后是用lucene做的，但开始的时候还是安装了nutch,安装的经验不能浪费了，所以也发布出来。

准备软件：

jdk1.5.4   

apache-tomcat-6.0.29

nutch-0.9

Cygwin

1:首先安装JAVA  (E:/Lycos/jdk1.5.0_04)  

安装完成后 

设置环境变量  JAVA_HOME = E:/Lycos/jdk1.5.0_04

CLASSPATH=.;E:/Lycos/jdk1.5.0_04/lib/tools.jar;E:/Lycos/jdk1.5.0_04/lib/dt.jar;E:/Lycos/jdk1.5.0_04/bin;

2:安装Cygwin  (E:/Lycos/cygwin)

在第一次安装时：需要先从镜像点上下载相关文件。

再次运行程序即可安装成功。

3 解压 tomcat-6.0.29  (E:/Lycos/tomcat-6.0.29)

4: 解压 nutch-0.9  (E:/Lycos/cygwin/nutch-0.9)

设置环境变量 NUTCH_JAVA_HOME=" E:/Lycos/jdk1.5.0_04"

<1> 创建目录 

在nutch/bin 目录下创建一个urls目录，然后在目录里面新建一个文件，文件名为 “url.txt”,内容为你要爬行的网站如：http://www.sina.com.cn

<2>修改nutch/conf/crawl-urlfilter.txt文件

打开nutch/conf/crawl-urlfilter.txt文件，把MY.DOMAIN.NAME字符替换为url.txt内的url的域名，其实更简单点，直接删除MY.DOMAIN.NAME这几个字就可以了，也就是说，只保存+^http://([a-z0-9]*/.)*这几个字就可以了，表示所有http的网站都同意爬行。

或者：+^http://([a-z0-9]*/.)*sina.com.cn/

注意如果直接删除MY.DOMAIN.NAME。不要保留删除后的/

<3>修改nutch/conf/conf/nutch-site.xml文件

    打开nutch/conf/conf/nutch-site.xml文件，在<configuration></configuration>内插入一下内容：注：如果是sina.com.cn 则value 的值修改为：http://www.sina.com.cn

         <property>

                         <name>http.robots.agents</name>

                         <value>http://www.sina.com.cn /klms</value> 

         </property>

         <property>

                         <name>http.agent.name</name>

                         <value>http:// www.sina.com.cn /klms</value>

         </property>

         <property>

                         <name>http.agent.url</name>

                         <value>http:// www.sina.com.cn /klms</value>

         </property>

 

     把<name>XXX</name>之间的内容替换为其他字符，当然就算是不替换也无所谓，这里的设置，是因为nutch遵守了robots协议，在获取response时，把自己的相关信息提交给被爬行的网站，以供识别。

<4>修改nutch/conf/nutch-default.xml

打开nutch/conf/nutch-default.xml 文件，找到<name>http.agent.name</name> ，然后把Value值随便设计一个。

<name>http.agent.name</name>

 <value>sina</value>

以上配置，是爬取intranet的配置方式。

<6>执行nutch

由于配置nutch采用的是单独网站的配置方式，所以执行上我们也采用的是单网查询

先看一看nutch给出的命令：nutch crawl urls -dir crawl -depth 3 -topN 50

crawl：通知nutch.jar，执行crawl的main方法。

urls：存放需要爬行的url.txt文件的目录，注意，这个名字需要和你的文件夹目录相同，如果你的文件夹为search，那这里也应该改成search。

 -dir crawl：爬行后文件保存的位置，可以在nutch/bin目录下找到。

-depth 3：爬行次数，或者成为深度，不过还是觉得次数更贴切，建议测试时改为1。

 -topN 50：一个网站保存的最大页面数。

      执行命令的步骤：

1．  进入cygwin界面。

2．  使用cd命令，进入nutch/bin路径下。

3．  执行：sh nutch crawl urls -dir crawl -depth 3 -topN 50

4．  具体的爬行日志可以在nutch/logs目录下看到，注意查找“INFO  fetcher.Fetcher - fetching http://XXXXXXX”这样的内容，这里是抓去过程日志。

<7>  配置tomcat

在nutch压缩包下找到nutch-0.9.war文件，放到tomcat/webapps目录下， 启动tomcat在webapps/nutch/WEB-INF/classes/nutch-site.xml文件中的<configuration></configuration>内插入一下内容

<property>

<name>searcher.dir</name> <value>E:/Lycos/cygwin/nutch-0.9/bin/crawl</value> 

</property>

   <value/>的内容是刚才爬行后的crawl目录位置，提供给客户端来查询。

<8>解决中文乱码

打开tomcat 目录下的conf/server.xml ，解决中文问题。(在0.9中好像没出现乱码)

<Connector port="8880"

   maxThreads="150" minSpareThreads="25" maxSpareThreads="75"

   enableLookups="false" redirectPort="8443" acceptCount="100"

   debug="0" connectionTimeout="20000" 

disableUploadTimeout="true" URIEncoding="UTF-8" useBodyEncodingForURI="true" />

<9> 配置完成后，关闭启动tomcat 再启动tomcat。 访问http://localhost:8080/nutch-0.9 即可。

这里提醒一下：当第一次启动的时候，可能会出现如下错误：

org.apache.jasper.JasperException: /search.jsp(151,22) Attribute value  language + "/include/header.html" is quoted

解决办法：

搜索 search.jsp 文件

找到151行： 

<jsp:include page="<%= language + "/include/header.html"%>"/> 

改成这样： 

<jsp:include page='<%= language + "/include/header.html"%>'/>