Windows下，Nutch安装配置指南

一、搜索引擎的原理简介

1.一个抓网络页面程序

  把www中的各网站的内容抓到本地

2.一个文件解析工具

  把抓下来的html、doc等源文件处理为更精确的格式文本

3.一个全文检索、分词、数据挖掘，解析文本，把数据抓到结构化数据库中

  可以采取工具软件，未必要自己写。数据库可以是文件数据库。

4.开发一个搜索页面，从数据库里查询关键字

  对查询关键字，进行一些逻辑处理。然后返回名称和url到页面。

 

二、Lucene和Nutch简介

Java开源社区，lucene是一个成熟完整的搜索包。http://lucene.apache.org/

而nutch是基于lucene的一个完整的搜索引擎，包括了上述4个方面。即适合入门，也适合在这个上面做二次开发。http://lucene.apache.org/nutch/

 

三、下载

在http://lucene.apache.org/nutch/release/上下载nutch的0.8.x版本

下载cygwin，一个在windows下模拟Linux的嵌入式系统，http://www.cygwin.com/

Luke，读取索引文件的工具，http://www.getopt.org/luke/

JDK，1.4.X，但估计1.5.X也可以

Tomcat

 

安装也可参考http://hi.baidu.com/xproduct/blog/item/f8d46e31e2f51d1bebc4afdf.html等文档

 

四、安装

根据http://lucene.apache.org/nutch/tutorial8.html 这个来安装。步骤比较简单。

参考Intranet Crawling部分。

只是有几个需要注意：

1.       建立urls文件

在nutch/bin目录下，建立urls目录，在urls目录下，建立nutch文件，里面设置搜索的站点起始位，如加入：

http://lucene.apache.org/nutch/

 

2.       conf/nutch-site.xml文件的http.agent.name，一定要定义值

<property>

  <name>http.agent.name</name>

  <value></value>///这里一定要定义

</property >

如果报NullPointerException，nutch-default.xml里面的http.agent.name也要定义。

nutch-site.xml里，还要定义搜索目录，即抓下来的程序放置的地方。

    <property>

          <name>searcher.dir</name>

          <value>D:/website</value>

    </property>

3.       运行命令

在cygwin里运行，或者把cygwin/bin目录加到path里，直接在command窗口运行

   运行命令，要通过bash跑，比如tutorial8.html的命令是

   bin/nutch crawl urls -dir crawl -depth 3 -topN 50

   在windows下，要这么跑

   bash bin/nutch crawl urls -dir crawl -depth 3 -topN 50

 

4.配置Tomcat

  把nutch- 0.8.1 .war复制到Tomcat下的webapps里，启动Tomcat，会自动deploy。

  再关闭Tomcat，把nutch- 0.8.1 .war文件拿走。

  到webapps/nutch- 0.8.1 目录下的WEB-INF/classes里的nutch-site.xml里，增加搜索的目录

    <property>

          <name>searcher.dir</name>

          <value>D:/website</value>

    </property>

 

  为了支持中文，在apache-tomcat- 6.0.14 /conf的server.xml里的

<Connector port="8080" protocol="HTTP/1.1" 里面，增加

URIEncoding="UTF-8" useBodyEncodingForURI="true"配置，

最后如：

    <Connector port="8080" protocol="HTTP/1.1"

               connectionTimeout="20000"

               redirectPort="8443"

                        URIEncoding="UTF-8" useBodyEncodingForURI="true"/>

 

重启Tomcat，可以通过http://localhost:8081/nutch-0.8.1/访问到搜索引擎了

 

5. Luke

  用JRE打开lukeall- 0.7.1 .jar，选择下载的目录的index，如D:/website/index，打开

  就可以图形化查看索引数据库，如关键字，还可以查询。

  具体参考Luke的图示