nutch+hadoop 配置使用 浅谈

配置nutch+hadoop
1，下载nutch。如果不需要特别开发hadoop，则不需要下载hadoop。因为nutch里面带了hadoop core包以及相关配置
2，建立目录（根据自己喜好）
/nutch
/search (nutch installation goes here) nutch安装到这里，也就是解压到这里
/filesystem hadoop的文件系统存放点
/local /crawl后放置索引用来search用的
/home (nutch user's home directory) 如果你用系统用户，这个基本没用
/tomcat 启动nutch.war用来search索引的app

3，conf/hadoop-env.sh 一定要配置JAVA_HOME,否则系统起不来
4，配置master和slave的ssh，否则每次都要输入passwd
ssh-keygen -t rsa
然后回车即可
cp id_rsa.pub authorized_keys
（copy到其它的slave上）scp /nutch/home/.ssh/authorized_keys nutch@devcluster02:/nutch/home/.ssh/authorized_keys
5，将bin和conf下所有的.sh、 nuch、 hadoop文件 dos2unix
dos2unix /nutch/search/bin/*.sh /nutch/search/bin/hadoop

配置hadoop-size.xml
6，记住要把master文件从nutch/hadoop copy到这个nutch中，应该是bug。也就是说启动需要这个文件，文件内容为默认的localhost即可（如果是分布式，可能需要配置）
7，格式化namenode
bin/hadoop namenode -format
8，启动：bin/start-all.sh
9，配置crawl （以配置一个网址 lucene.apache.org为例）
cd /nutch/search
mkdir urls
vi urls/urllist.txt http://lucene.apache.org

cd /nutch/search
bin/hadoop dfs -put urls urls

cd /nutch/search
vi conf/crawl-urlfilter.txt
change the line that reads: +^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
to read: +^http://([a-z0-9]*\.)*apache.org/
10，启动crawl
bin/nutch crawl urls -dir crawled -depth 3
11，查询
bin/hadoop dfs -copyToLocal crawled /media/do/nutch/local/(crawled) 将index的东西copy到以上配置的local中，因为search不能用dfs中搜索(从文档看是这样)
12，启动nutch.war，测试
vi nutch-site.xml nutch.war中classes下
start tomcat

注意点：
1，masters文件 nutch原来没有，需要copy到conf下
2，crawl的log4j配置默认有问题，需要增加：
hadoop.log.dir=.
hadoop.log.file=hadoop.log
3，nutch1.0 一定要配置nutch-site.xml。重新配置http.agent。default.xml里面已经存在。


问题：
1，运行hadoop程序时， 中途我把它终止了，然后再向hdfs加文件或删除文件时，出现Name node is in safe mode错误：
rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode
解决的命令：
bin/hadoop dfsadmin -safemode leave #关闭safe mode


索引命令：
bin/nutch index plainindex/paodingindexes plainindex/crawldb plainindex/linkdb plainindex/segments/20090528132511 plainindex/segments/20090528132525 plainindex/segments/20090528132602

eg：
index：
bin/nutch index crawled/indexes_new crawled/crawldb crawled/linkdb crawled/segments/20100313132517

merge：
bin/nutch merge crawled/index_new crawled/indexes_new

去重 dedup：
bin/nutch dedup crawled/index_new


中文分词：
1.对建立索引所用分词工具的修改

将下载的中文分词包放到lib目录下，改名为analysis-zh.jar(当然，你也可以不用改）。找到下面文件

src\java\org\apache\nutch\analysis\NutchDocumentAnalyzer.java

修改tokenStream方法如下

public TokenStream tokenStream(String fieldName, Reader reader) {
Analyzer analyzer;
analyzer= new MMAnalyzer();
return analyzer.tokenStream(fieldName, reader);
}

注意：由于加入信息的分析类，你需要将该类导入。使用如下语句。

import jeasy.analysis.*;

2.对查询所用分析部分的修改

src\java\org\apache\nutch\analysis\中的NutchAnalysis.jj文件

将 <SIGRAM: <CJK> >

改为:| <SIGRAM: (<CJK>)+ >

使用javacc工具将NutchAnalysis.jj生成java文件，共会生成7个java文件，将他们拷贝到下面的文件夹中替 换原有文件。

src\java\org\apache\nutch\analysis

如何安装与使用javacc？

下载javacc并解压，然后将javacc的主目录添加到环境变量下。进入命令行，输入javacc，如果不出现不能识别该命令之类的说法，证明安装成功。

进入NutchAnalysis.jj文件所在的目录，输入javacc NutchAnalysis.jj命令就会生成7个java文件了。

3.重新编译工程文件

这里你需要用到ant工具了，那么ant工具怎么安装呢？

ant的安装与配置与 javacc类似，下载后解压，然后在path环境变量中加如指向ant下的bin文件夹的路径。

使用：从命令行进入nutch目录中，输入ant命令，它会自动根据当前目录下的build.xml进行重建。重建完毕后会在改目录下产生一个build文件夹。

4.重建后的文件替换

一、将nutch-0.x.x.job文件拷贝出来替换nutch目录下的同名文件。

二、将\build\classes\org\apache\nutch\analysis目录下的所有文件拷贝替换nutch-0.x.x.jar中org\apache\nutch\analysis目录下的文件。

三、将nutch-0.x.x.jar文件和你的分词包（我的是analysis-zh.jar）拷贝到tomcat中WEB-INF\lib下面。

5.重新爬行与建立索引，重新启动tomcat即可。


nutch搜索url过滤规则：
对于每一次(由depth决定)对url进行filter，所以要搜子页面，首页一定要通过filter，否则搜索不到。
详见：http://hi.baidu.com/ldl_java/blog/item/84d1427894231ee62f73b30a.html