nutch0.9中使用je分词

前言：msn空间丢失以及csdn空间丢失，导致很多以前写的文档都不见了~~幸好搜索到了，贴回来留念~~2007年的记忆：）

 

首先要感谢"苹果"、"冰人"、"悟空"等，他们给了我思路和代码等方面的帮助。

注：本文挡为最基本的分词方式，分词后原有高级搜索部分功能无效。

        如果各位仍然需要高级搜索功能，请参见Nutch0.9分词研究中的思路加以修改。

 

将如下文件中的同一方法使用以下方法替换

NutchDocumentAnalyzer.java中
  public TokenStream tokenStream(String fieldName, Reader reader) {
    MMAnalyzer myanalyzer=new MMAnalyzer();
    return myanalyzer.tokenStream(fieldName, reader);
  }
NutchAnalysis.java中
  final public Query parse(Configuration conf) throws ParseException,IOException {
  Query query = new Query(conf);
  StringReader input;
  input=new java.io.StringReader(queryString);
  org.apache.lucene.analysis.TokenStream tokenizer=new MMAnalyzer().tokenStream(queryString,input);
  for(org.apache.lucene.analysis.Token t=tokenizer.next();t!=null;t=tokenizer.next()){
   String[] array={t.termText()};
   query.addRequiredPhrase(array);
  }
  {if (true) return query;}
    throw new Error("Missing return statement in function");
  }

之后引je包，编译后替换nutch相关文件并更新tomcat下的nutch-0.9.jar文件，发布，即可看到分词效果