实现NUTCH中文分词的代码修改方法

 

实现NUTCH中文分词的代码修改方法

此处我修改的nutch版本是0.7.2 　　现在实现基本中文分词功能的代码和软件模块很多，性能也还可以，但是怎样将其应用到NUTCH中的方法介绍相对较少，下面我就实现NUTCH中文分词的NUTCH代码修改方法与步骤，抛砖引玉的介绍一下。 　　代码修改的切入点是通过对NUTCH处理中文的切分器Tokenizer的修改或者替换（这里介绍的是替换），使中文分词由单字切分变为词语切分。对于相关的NUTCH基本知识，我就不赘述了。因为NUTCH的检索功能基于Lucene，所以你用来替换的切分器必须满足Lucene的Tokenizer特征，最主要的是保证输入与输出相符，分词后输出的必须是Token流。幸运的是，现存的分词程序或软件模块基本上都满足此需要，即使有所偏差，一般通过对其输入输出的修改就可以满足需要。我前面提供给大家的那个分词程序就可以经过简单修改应用于NUTCH中。 　　设我们实现中文分词功能模块的主类名为MYTokenizer，package为org.apache.nutch.analysis.myt. MYTokenizer，将模块假如项目后，NUTCH代码修改如下： 　　（需要修改或新增的行后有注释，否则其它行只是为了定位，不修改） 　　一、修改org/apache/nutch/analysis下的NutchAnalysis.jj文件（此文件由JACC生成） 　　文件第33行附近： 　　import org.apache.nutch.searcher.Query.Clause;  　　import org.apache.lucene.analysis.StopFilter;  　　+import org.apache. nutch.analysis. myt. MYTokenizer; //新增此行，加入你的切分器 　　import java.io.*;  　　import java.util.*; 　　文件第8 1行附近： 　　PARSER_END(NutchAnalysis)  　　TOKEN_MGR_DECLS : { 　　/** use MYTokenizer to process cjk character */ //新增此行注释 　　private MYTokenizer myTokenizer = null;   //新增此行 　　/** a global cjk token */   //新增此行注释 　　private org.apache.lucene.analysis.Token cjkToken = null;     //新增此行，输出流 　　/** start offset of cjk sequence */   //新增此行注释 　　private int cjkStartOffset = 0;   //新增此行 　　/** Constructs a token manager for the provided Reader. */ 　　public NutchAnalysisTokenManager(Reader reader) { 　　文件第106行附近： 　　} 　　// chinese, japanese and korean characters  　　| <SIGRAM: <CJK> >   //删除此行 　　| <SIGRAM: (<CJK>)+ >   //新增此行（＃行） 　　//以下所有行均为新增，紧接上行代码（＃行）书写 　　{  　　/**  　　* use an instance of myTokenizer, myTokenizer, hold the maximum  　　* matched cjk chars, and cjkToken for the current token;  　　* reset matchedToken.image use cjkToken.termText(); 　　* reset matchedToken.beginColumn use cjkToken.startOffset(); 　　* reset matchedToken.endColumn use cjkToken.endOffset(); 　　* backup the last char when the next cjkToken is valid.  　　*/  　　if(myTokenizer == null) {  　　myTokenizer = new MYTokenizer (new StringReader(image.toString())); 　　cjkStartOffset = matchedToken.beginColumn;  　　try {  　　cjkToken = myTokenizer.next(); 　　} catch(IOException ioe) {  　　cjkToken = null;  　　}  　　}  　　if(cjkToken != null && !cjkToken.termText().equals("")) {  　　//sometime the myTokenizer returns an empty string, is it a bug?  　　matchedToken.image = cjkToken.termText(); 　　matchedToken.beginColumn = cjkStartOffset + cjkToken.startOffset(); 　　matchedToken.endColumn = cjkStartOffset + cjkToken.endOffset(); 　　try {  　　cjkToken = myTokenizer.next(); 　　} catch(IOException ioe) {  　　cjkToken = null;  　　}  　　if(cjkToken != null && !cjkToken.termText().equals("")) {  　　input_stream.backup(1);  　　}  　　}  　　if(cjkToken == null || cjkToken.termText().equals("")) { 　　myTokenizer = null;  　　cjkStartOffset = 0;  　　} 　　} 　　二、修改org/apache/nutch/searcher下的Summarizer.java文件（此处修改为提高搜索性能） 　　文件第189行附近： 　　将原代码段 　　if (highlight.contains(t.termText())) { 　　excerpt.addToken(t.termText()); 　　excerpt.add(new Fragment(text.substring(offset, t.startOffset()))); 　　excerpt.add(new Highlight(text.substring(t.startOffset(),t.endOffset()))); 　　offset = t.endOffset(); 　　endToken = Math.min(j+SUM_CONTEXT, tokens.length); 　　} 　　修改为： 　　if (highlight.contains(t.termText())) { 　　if(offset * 2 == (t.startOffset() + t.endOffset() )) { // cjk bi-gram 　　excerpt.addToken(t.termText().substring(offset - t.startOffset())); 　　excerpt.add(new Fragment(text.substring(t.startOffset() + 1,offset))); 　　excerpt.add(new Highlight(text.substring(t.startOffset() + 1 ,t.endOffset()))); 　　}  　　else {  　　excerpt.addToken(t.termText()); 　　excerpt.add(new Fragment(text.substring(offset, t.startOffset()))); 　　excerpt.add(new Highlight(text.substring(t.startOffset() ,t.endOffset()))); 　　} 　　offset = t.endOffset(); 　　endToken = Math.min(j+SUM_CONTEXT, tokens.length); 　　}    　　为了提高运行效率，你的分词模块在运行中最好可以将词表读入内存。至于代码修改的原理，说来话长，容后再叙。