如何修改nutch的分词器（添加paoding分词器）

添加庖丁分词器分为两个步骤，首先要在window下修改好引入分词器的源码，将庖丁分词器作为默认的分词器引入，然后将修改后的程序部署到linux下（这一部分有要修改两部分代码：爬取部分要对nutch源码进行重新编译，其次要对部署到tomcat下的查询部分代码进行重新部署）

（1）window下修改nutch源码：插件包nutch核心代码中的org.apache.nutch.analysis包下的NutchDocumentAnalyzer类进行修改，重新声明实例化一个类型为PaodingAnalysis的CONTENT_ANALYZER2对象，对tokenStream函数进行修改，当需要对内容类型非"anchor"的内容进行解析时则调用CONTENT_ANALYZER2分词器，代码如下：

  /** Returns a new token stream for text from the named field. */
  public TokenStream tokenStream(String fieldName, Reader reader) {
	    Analyzer analyzer;
	    if ("anchor".equals(fieldName)){
	    	 analyzer = ANCHOR_ANALYZER;
	    	 return analyzer.tokenStream(fieldName, reader);
	    }else{
	    	analyzer = CONTENT_ANALYZER2;
	    	TokenStream token=analyzer.tokenStream(fieldName, reader);
	    	token.addAttribute(PositionIncrementAttribute.class);
	    	
	    	return token;
	    }
	      

	    
  }

然后根据我另一篇blog中介绍的方法对NutchAnalysis.jj文件进行编译，将编译得到的java类替换org.apache.nutch.analysis包下同名类。

（2）部署到linux下，需要重新编译nutch源码，这里重点对如何配置查询部分进行介绍

首先要对nutch源码进行编译打包成jar文件，到nutch主目录下执行命令ant jar会在build的文件夹下生成一个nutch.jar的编译文件，用这个文件替换掉部署到tomcat下的nutch-1.2的WEB-INF/lib中的同名文件。

然后在对将paoding.jar复制到lib下，将dict复制到classes下，将paoding-*的六个关于庖丁的配置文件复制到classes下，修改paoding-dic-home.properties配置文件中的paoding.dic.home修改为dict的绝对路径值

paoding.dic.home=/usr/local/tomcat/webapps/nutch-1.2/WEB-INF/classes/dict/

重新启动tomcat就完成了nutch查询部分的分词器添加工作。
paoding.dic.home=/usr/local/tomcat/webapps/nutch-1.2/WEB-INF/classes/dict/