这个功能非常重要,先贴代码出来:
public class HighlighterTest {
public static void main(String[] args) throws IOException, InvalidTokenOffsetsException {
String text = "中华人民共和国 是个好国家啊";
//设置高亮文本的样式
Formatter formatter = new SimpleHTMLFormatter("<span>", "</span>");
//用于对索引中特定的项进行搜索
TermQuery query = new TermQuery(new Term("field","国"));
//通过TokenStream流获取存储分词的各种信息
TokenStream tokenStream = new StandardAnalyzer().tokenStream("field",new StringReader(text));
//通过评分后的查询对象
QueryScorer scorer = new QueryScorer(query,"field");
Highlighter highlighter = new Highlighter(formatter,scorer);
//默认情况下,highlighter内部使用的是SimpleFragmenter分成片断,如果满足不了需求,可以用SimpleSpanFragmenter
// highlighter.setTextFragmenter(new SimpleSpanFragmenter(scorer));
System.out.println(highlighter.getBestFragment(tokenStream,text));
}
}
程序中,重要点都做了介绍,至于基础性的东西,很难讲全面,具体可以参看lucene in action第二版,上面说得相对详细点,虽然说是基于3.0版本的,但大多数东西还是挺有价值的,实际上,目前还没发现比这个更好的资料。
上面代码的运行结果如下:
中华人民共和<span>国</span> 是个好<span>国</span>家啊
如果输出到HTML页面,就可以通过CSS样式,让其高亮显示了。
值得一提的是,android studio处理中文的问题,当我使用utf-8编码的时,查询中文会存在找不到的情况,输出中文也是乱码,不管我再怎么设置file encoding里面的东西,结果都一样。于是只能采用GBK,还好android studio可以单独修改某个文件的编码方式,如下:
最下面用红圈标注的地方,就是当前文件的编码方式,可以手动修改。不过StandardAnalyzer这个分词器,对中文的支持还是有点问题,比如上面这个地方,用lucene6.0版本的时候,如果查询条件为两个字或者更多的时候就查不出来。为此,正面用一个长一点的文章在测试词语的查询。
public class HighlighterTest {
public static void main(String[] args) throws Exception {
// String text = "中华人民共和国 是个好国家啊";
String text = readFile("d:/content1.txt");
//设置高亮文本的样式
Formatter formatter = new SimpleHTMLFormatter("<span>", "</span>");
//用于对索引中特定的项进行搜索
TermQuery query = new TermQuery(new Term("field","聪明"));
//通过TokenStream流获取存储分词的各种信息
TokenStream tokenStream = new MyIKAnalyzer().tokenStream("field",new StringReader(text));
//通过评分后的查询对象
QueryScorer scorer = new QueryScorer(query,"field");
Highlighter highlighter = new Highlighter(formatter,scorer);
// 默认情况下,highlighter内部使用的是SimpleFragmenter分成片断,如果满足不了需求,可以用SimpleSpanFragmenter
// highlighter.setTextFragmenter(new SimpleSpanFragmenter(scorer));
System.out.println(highlighter.getBestFragment(tokenStream,text));
}
static String readFile(String filename) throws Exception {
String line = null;
StringBuilder records = new StringBuilder();
BufferedReader bufferedReader = new BufferedReader(new FileReader(filename));
while ((line = bufferedReader.readLine()) != null) {
records.append(line);
}
bufferedReader.close();
return records.toString();
}
}
上面的程序中,用readFile方法,读取content1.txt文件的内容,然后输入关键字“聪明”来查找文件内容,结果则会显示关键字附近的内容,默认情况下,应该显示的“聪明”这个关键字前后的100个字符,大概相当于搜索预览的意思。
上面还有一个地方需要注意,那就是分词器用的是MyIKAnalyzer,因为用标准的分词器找不到相关的内容。而这个MyIKAnalyzer来源于IKAnalyzer分词器,但是IKAnalyzer分词器已经很久没更新了,最新版本也是2012更新的,所以在6.0版本下会报错。不过好在,有人会这个,所以再网上找了一个修改后东西,就是重新写了一个IKAnalyzer类,具体代码如下:
public class MyIKAnalyzer extends Analyzer{
@Override
protected Analyzer.TokenStreamComponents createComponents(String str) {
Reader reader = null;
try {
reader = new StringReader(str);
MyIKTokenizer it = new MyIKTokenizer(reader);
return new Analyzer.TokenStreamComponents(it);
} finally {
IOUtils.closeWhileHandlingException(reader);
}
}
}
public class MyIKTokenizer extends Tokenizer {
// IK分词器实现
private IKSegmenter _IKImplement;
// 词元文本属性
private final CharTermAttribute termAtt;
// 词元位移属性
private final OffsetAttribute offsetAtt;
// 词元分类属性(该属性分类参考org.wltea.analyzer.core.Lexeme中的分类常量)
private final TypeAttribute typeAtt;
// 记录最后一个词元的结束位置
private int endPosition;
public MyIKTokenizer(Reader in) {
this(in, false);
}
/**
* Lucene 4.0 Tokenizer适配器类构造函数
*
* @param in
* @param useSmart
*/
public MyIKTokenizer(Reader in, boolean useSmart) {
offsetAtt = addAttribute(OffsetAttribute.class);
termAtt = addAttribute(CharTermAttribute.class);
typeAtt = addAttribute(TypeAttribute.class);
_IKImplement = new IKSegmenter(input, useSmart);
}
/*
* (non-Javadoc)
*
* @see org.apache.lucene.analysis.TokenStream#incrementToken()
*/
public boolean incrementToken() throws IOException {
// 清除所有的词元属性
clearAttributes();
Lexeme nextLexeme = _IKImplement.next();
if (nextLexeme != null) {
// 将Lexeme转成Attributes
// 设置词元文本
termAtt.append(nextLexeme.getLexemeText());
// 设置词元长度
termAtt.setLength(nextLexeme.getLength());
// 设置词元位移
offsetAtt.setOffset(nextLexeme.getBeginPosition(),
nextLexeme.getEndPosition());
// 记录分词的最后位置
endPosition = nextLexeme.getEndPosition();
// 记录词元分类
typeAtt.setType(nextLexeme.getLexemeTypeString());
// 返会true告知还有下个词元
return true;
}
// 返会false告知词元输出完毕
return false;
}
/*
* (non-Javadoc)
*
* @see org.apache.lucene.analysis.Tokenizer#reset(java.io.Reader)
*/
public void reset() throws IOException {
super.reset();
_IKImplement.reset(input);
}
@Override
public final void end() {
// set final offset
int finalOffset = correctOffset(this.endPosition);
offsetAtt.setOffset(finalOffset, finalOffset);
}
}
IKAnalyzer分词器工具包,可以自行到网上下载,虽然很久没更新,但是分词技术应该还是做得相当不错的。另外,再多说一句,上面两个java到底修改了什么地方呢?IKAnalyzer这个java文件里面有个方法:
@Override
protected TokenStreamComponents createComponents(String fieldName, final Reader in) {
Tokenizer _IKTokenizer = new IKTokenizer(in , this.useSmart());
return new TokenStreamComponents(_IKTokenizer);
}
可以发现,这个方法上面有个"@override"这个标志,表示重载父类Analyzer的createComponents这个方法,而现在的6.0版本,这个方法的参数形式已经变了,改成了:
protected abstract Analyzer.TokenStreamComponents createComponents(String var1);
所以为适应新版的需求,这个地方必须修改。至于说到MyIKTokenizer这个类,其实只修改了一个地方,那就是:
public IKTokenizer(Reader in , boolean useSmart){
super(in);
offsetAtt = addAttribute(OffsetAttribute.class);
termAtt = addAttribute(CharTermAttribute.class);
typeAtt = addAttribute(TypeAttribute.class);
_IKImplement = new IKSegmenter(input , useSmart);
}
Tokenizer类里面已经没得super(in)这种构造方法了,所以把它去掉即可。