搜索引擎Nutch 0.7.2 试用笔记

转载 2006年05月23日 12:27:00

 


我的jdk 是1.5.x ,Tomcat是5.0.x

1 下载0.7.2 版本的包:里面已经包含了war文件,所以不需要Ant编译了

2 安装Cygwin,这个没什么好说的。

3 把Nutch借压缩到D:/nutch

4 在D:/nutch下面建立一个文件 urls (没有后缀)

http://www.xxx.edu.cn/

5 在D:/nutch/conf/crawl-urlfilter.txt里面,加入

+^http://www.xxx.edu.cn/

6 环境变量加入

NUTCH_JAVA_HOME = D:/jdk1.5.0_06

7 打开cygwin窗口,

cd D:/nutch

在D:/nutch下面执行

bin/nutch crawl urls -dir crawled -depth 3 >& crawl.log
这个命令会在当前目录下建立一个crawled的文件夹,然后对刚才的www.xxx.edu.cn的网站开始检索。
层数是3层,一般最好10层。然后结果输出在crawl.log里面
8 将nutch-0.7.2.war拷贝到tomcat/webapps下面,改名nutch
9 在D:/tomcat/conf/Catalina/localhost/ 建立nutch.xml
<Context path="" debug="5" privileged="true" docBase="nutch"/>
10 启动tomcat,等war解开以后,打开
D:/tomcat/webapps/nutch/WEB-INF/classes/nutch-site.xml
修改如下
<nutch-conf><property>    <name>searcher.dir</name>    <value>D:/nutch/crawled/</value></property></nutch-conf>
11 D:/tomcat/webapps/nutch/zh/include 下面新建header.jsp,内容就是复制header.html,但是
前面加上
<%@ page   contentType="text/html; charset=UTF-8"  pageEncoding="UTF-8"%>
在D:/tomcat/webapps/nutch/search.jsp里面,找到并修改为
<jsp:include page="<%= language + "/include/header.jsp"%>"/>
顺便把下面js注释掉
function queryfocus() {
//search.query.focus();  }
12 D:/tomcat/conf/server.xml 找到以下段,并修改
    <Connector port="8080"               maxThreads="150" minSpareThreads="25" maxSpareThreads="75"               enableLookups="false" redirectPort="8443" acceptCount="100"               debug="0" connectionTimeout="20000"                disableUploadTimeout="true"                URIEncoding="UTF-8" useBodyEncodingForURI="true" />
好了,到此,重启tomcat,访问 http://localhost:8080 就可以看到搜索主页了,而且搜索支持中文
和分词,虽然分得不是很好。
13 接下来一个重要的功能就是增量更新索引。
在D:/nutch下建立recrawl.sh 。内容为
#!/bin/bash
# A simple script to run a Nutch re-crawl
if [ -n "$1" ]then  crawl_dir=$1else  echo "Usage: recrawl crawl_dir [depth] [adddays]"  exit 1fi
if [ -n "$2" ]then  depth=$2else  depth=5fi
if [ -n "$3" ]then  adddays=$3else  adddays=0fi
webdb_dir=$crawl_dir/dbsegments_dir=$crawl_dir/segmentsindex_dir=$crawl_dir/index
# The generate/fetch/update cyclefor ((i=1; i <= depth ; i++))do  bin/nutch generate $webdb_dir $segments_dir -adddays $adddays  segment=`ls -d $segments_dir/* | tail -1`  bin/nutch fetch $segment  bin/nutch updatedb $webdb_dir $segmentdone
# Update segmentsmkdir tmpbin/nutch updatesegs $webdb_dir $segments_dir tmprm -R tmp
# Index segmentsfor segment in `ls -d $segments_dir/* | tail -$depth`do  bin/nutch index $segmentdone
# De-duplicate indexes# "bogus" argument is ignored but needed due to# a bug in the number of args expectedbin/nutch dedup $segments_dir bogus
# Merge indexesls -d $segments_dir/* | xargs bin/nutch merge $index_dir
在cygwin里面,执行
./recrawl crawled 8
意思是更新索引,目录是crawled,层数8 。还可以把天数跟在后面。执行完毕后要重启Tomcat,因为
Nutch.war里面对查询有缓存。
 
最后可以把这个脚本放到crontab里面,每天夜里2点执行,执行完毕后重新启动Tomcat。

相关文章推荐

Nutch 0.8笔记--Google式的搜索引擎实现

  作者:江南白衣    Nutch是一个基于Lucene,类似Google的完整网络搜索引擎解决方案,基于Hadoop的分布式处理模型保证了系统的性能,类似Eclipse的插件机制保证了系统的可客户...

Nutch 0.8笔记--Google式的搜索引擎实现

作者:江南白衣     Nutch是一个基于Lucene,类似Google的完整网络搜索引擎解决方案,基于Hadoop的分布式处理模型保证了系统的性能,类似Eclipse的插件机制保证了系统的可客户化...

Linux上 Nutch 1.3 + Solr 3.4.0 + Tomcat6.0 搜索引擎单节点搭建笔记

Linux上 Nutch 1.3 + Solr 3.4.0 + Tomcat6.0 搜索引擎单节点搭建笔记            Nutch 是apache下的一款开源web搜索引擎,而Solr...

Lucene+Nutch搜索引擎开发

  • 2014年09月23日 13:04
  • 79.81MB
  • 下载

Nutch:从搜索引擎到网络爬虫

  • 2013年11月11日 16:13
  • 19.24MB
  • 下载

一个大数据方案:基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎

网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,...

nutch开发资料 搜索引擎

  • 2009年03月24日 13:54
  • 13.73MB
  • 下载

开源搜索引擎nutch-1.0.part08.rar

  • 2010年06月27日 11:32
  • 9.54MB
  • 下载

开发基于 Nutch 的集群式搜索引擎

本文首先介绍 Nutch 的背景知识,包括 Nutch 架构,爬虫和搜索器。然后以开发一个基于 Nutch 的实际应用为例向读者展示如何使用 Nutch 开发自己的搜索引擎。在该示例中,首先带领读...

开源搜索引擎nutch-1.0.part04.rar

  • 2010年06月27日 11:28
  • 9.54MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:搜索引擎Nutch 0.7.2 试用笔记
举报原因:
原因补充:

(最多只允许输入30个字)