现在实现基本中文分词功能的代码和软件模块很多,性能也还可以,但是怎样将其应用到NUTCH中的方法介绍相对较少,下面我就实现NUTCH中文分词的NUTCH代码修改方法与步骤,抛砖引玉的介绍一下。
代码修改的切入点是通过对NUTCH处理中文的切分器Tokenizer的修改或者替换(这里介绍的是替换),使中文分词由单字切分变为词语切分。对于相关的NUTCH基本知识,我就不赘述了。因为NUTCH的检索功能基于Lucene,所以你用来替换的切分器必须满足Lucene的Tokenizer特征,最主要的是保证输入与输出相符,分词后输出的必须是Token流。幸运的是,现存的分词程序或软件模块基本上都满足此需要,即使有所偏差,一般通过对其输入输出的修改就可以满足需要。我前面提供给大家的那个分词程序就可以经过简单修改应用于NUTCH中。
设我们实现中文分词功能模块的主类名为MYTokenizer,package为org.apache.nutch.analysis.myt. MYTokenizer,将模块假如项目后,NUTCH代码修改如下:
(需要修改或新增的行后有注释,否则其它行只是为了定位,不修改)
一、修改org\apache\nutch\analysis下的NutchAnalysis.jj文件(此文件由JACC生成)
文件第33行附近:
import org.apache.nutch.searcher.Query.Clause;
import org.apache.lucene.analysis.StopFilter;
+import org.apache. nutch.analysis. myt. MYTokenizer; //新增此行,加入你的切分器
import java.io.*;
import java.util.*;
文件第8 1行附近:
PARSER_END(NutchAnalysis)
TOKEN_MGR_DECLS : {
/** use MYTokenizer to process cjk character */ //新增此行注释
private MYTokenizer myTokenizer = null; //新增此行
/** a global cjk token */ //新增此行注释
private org.apache.lucene.analysis.Token cjkToken = null; //新增此行,输出流
/** start offset of cjk sequence */ //新增此行注释
private int cjkStartOffset = 0; //新增此行
/** Constructs a token manager for the provided Reader. */
public NutchAnalysisTokenManager(Reader reader) {
文件第106行附近:
}
// chinese, japanese and korean characters
| <SIGRAM: <CJK> > //删除此行
| <SIGRAM: (<CJK>)+ > //新增此行(#行)
//以下所有行均为新增,紧接上行代码(#行)书写
{
/**
* use an instance of myTokenizer, myTokenizer, hold the maximum
* matched cjk chars, and cjkToken for the current token;
* reset matchedToken.image use cjkToken.termText();
* reset matchedToken.beginColumn use cjkToken.startOffset();
* reset matchedToken.endColumn use cjkToken.endOffset();
* backup the last char when the next cjkToken is valid.
*/
if(myTokenizer == null) {
myTokenizer = new MYTokenizer (new StringReader(image.toString()));
cjkStartOffset = matchedToken.beginColumn;
try {
cjkToken = myTokenizer.next();
} catch(IOException ioe) {
cjkToken = null;
}
}
if(cjkToken != null && !cjkToken.termText().equals("")) {
//sometime the myTokenizer returns an empty string, is it a bug?
matchedToken.image = cjkToken.termText();
matchedToken.beginColumn = cjkStartOffset + cjkToken.startOffset();
matchedToken.endColumn = cjkStartOffset + cjkToken.endOffset();
try {
cjkToken = myTokenizer.next();
} catch(IOException ioe) {
cjkToken = null;
}
if(cjkToken != null && !cjkToken.termText().equals("")) {
input_stream.backup(1);
}
}
if(cjkToken == null || cjkToken.termText().equals("")) {
myTokenizer = null;
cjkStartOffset = 0;
}
}
二、修改org\apache\nutch\searcher下的Summarizer.java文件(此处修改为提高搜索性能)
文件第189行附近:
将原代码段
if (highlight.contains(t.termText())) {
excerpt.addToken(t.termText());
excerpt.add(new Fragment(text.substring(offset, t.startOffset())));
excerpt.add(new Highlight(text.substring(t.startOffset(),t.endOffset())));
offset = t.endOffset();
endToken = Math.min(j+SUM_CONTEXT, tokens.length);
}
修改为:
if (highlight.contains(t.termText())) {
if(offset * 2 == (t.startOffset() + t.endOffset() )) { // cjk bi-gram
excerpt.addToken(t.termText().substring(offset - t.startOffset()));
excerpt.add(new Fragment(text.substring(t.startOffset() + 1,offset)));
excerpt.add(new Highlight(text.substring(t.startOffset() + 1 ,t.endOffset())));
}
else {
excerpt.addToken(t.termText());
excerpt.add(new Fragment(text.substring(offset, t.startOffset())));
excerpt.add(new Highlight(text.substring(t.startOffset() ,t.endOffset())));
}
offset = t.endOffset();
endToken = Math.min(j+SUM_CONTEXT, tokens.length);
}
为了提高运行效率,你的分词模块在运行中最好可以将词表读入内存。至于代码修改的原理,说来话长,容后再叙。