最近lucene已经更新到lucene 3.0版本了 2.X版本的一些用法已经彻底不在支持了。
下面的例子主要是介绍中文分词器IKAnalyzer的使用和Lucene高亮显示。
lucene 3.x版本中有些2.x方法已经完全被剔除了,这里会捎带一下3.x的用法,当然我这里用的还是2.X的版本。
lucene自带的分词方式对中文分词十分的不友好,基本上可以用惨不忍睹来形容,所以这里推荐使用IKAnalyzer进行中文分词。
IKAnalyzer分词器是一个非常优秀的中文分词器。
下面是官方文档上的介绍
采用了特有的“正向迭代最细粒度切分算法“,具有60万字/秒的高速处理能力。
采用了多子处理器分析模式,支持:英文字母(IP地址、Email、URL)、数字(日期,常用中文数量词,罗马数字,科学计数法),中文词汇(姓名、地名处理)等分词处理。
优化的词典存储,更小的内存占用。支持用户词典扩展定义.
针对Lucene全文检索优化的查询分析器
IKQueryParser(作者吐血推荐);采用歧义分析算法优化查询关键字的搜索排列组合,能极大的提高Lucene检索的命中率。
1.IKAnalyzer的部署:将IKAnalyzer3.X.jar部署于项目的lib目录中;IKAnalyzer.cfg.xml与ext_stopword.dic文件放置在代码根目录下即可。
ok 部署完IKAnalyzer我们先来测试一下
分词结果 永和 和服 服装 装饰品 装饰 饰品 有限公司 有限 公司
2.我们开始采用IKAnalyzer创建索引
3.对索引进行查询并进行高亮highlighter处理
大家可以看到对于关键词的数据已经进行高亮处理了。 “中后期,不少群组改名<B>纯粹</B>是赶潮流和恶搞。”
下面的例子主要是介绍中文分词器IKAnalyzer的使用和Lucene高亮显示。
lucene 3.x版本中有些2.x方法已经完全被剔除了,这里会捎带一下3.x的用法,当然我这里用的还是2.X的版本。
lucene自带的分词方式对中文分词十分的不友好,基本上可以用惨不忍睹来形容,所以这里推荐使用IKAnalyzer进行中文分词。
IKAnalyzer分词器是一个非常优秀的中文分词器。
下面是官方文档上的介绍
采用了特有的“正向迭代最细粒度切分算法“,具有60万字/秒的高速处理能力。
采用了多子处理器分析模式,支持:英文字母(IP地址、Email、URL)、数字(日期,常用中文数量词,罗马数字,科学计数法),中文词汇(姓名、地名处理)等分词处理。
优化的词典存储,更小的内存占用。支持用户词典扩展定义.
针对Lucene全文检索优化的查询分析器
IKQueryParser(作者吐血推荐);采用歧义分析算法优化查询关键字的搜索排列组合,能极大的提高Lucene检索的命中率。
1.IKAnalyzer的部署:将IKAnalyzer3.X.jar部署于项目的lib目录中;IKAnalyzer.cfg.xml与ext_stopword.dic文件放置在代码根目录下即可。
ok 部署完IKAnalyzer我们先来测试一下
- package demo.test;
- import java.io.IOException;
- import java.io.StringReader;
- import org.apache.lucene.analysis.Analyzer;
- import org.apache.lucene.analysis.TokenStream;
- import org.apache.lucene.analysis.tokenattributes.TermAttribute;
- import org.apache.lucene.analysis.tokenattributes.TypeAttribute;
- import org.wltea.analyzer.lucene.IKAnalyzer;
- public class TestIKAnalyzer {
- public static void main(String[] args) throws IOException {
- Analyzer analyzer = new IKAnalyzer();
- TokenStream tokenStream = analyzer.tokenStream("", new StringReader("永和服装饰品有限公司"));
- //2.x写法 3.0之后不支持了
- /*Token token =new Token();
- while(tokenStream.next(token)!=null){
- System.out.println(token.term());
- }*/
- //3.x的写法
- TermAttribute termAtt = (TermAttribute) tokenStream.getAttribute(TermAttribute.class);
- TypeAttribute typeAtt = (TypeAttribute) tokenStream.getAttribute(TypeAttribute.class);
- while (tokenStream.incrementToken()) {
- System.out.print(termAtt.term());
- System.out.print(' ');
- System.out.println(typeAtt.type());
- }
- }
- }
分词结果 永和 和服 服装 装饰品 装饰 饰品 有限公司 有限 公司
2.我们开始采用IKAnalyzer创建索引
- package demo.test;
- import java.io.BufferedReader;
- import java.io.File;
- import java.io.FileInputStream;
- import java.io.IOException;
- import java.io.InputStreamReader;
- import org.apache.lucene.analysis.Analyzer;
- import org.apache.lucene.document.Document;
- import org.apache.lucene.document.Field;
- import org.apache.lucene.index.IndexWriter;
- import org.wltea.analyzer.lucene.IKAnalyzer;
- public class CreatIndex {
- @SuppressWarnings("deprecation")
- public static void main(String[] args) throws IOException {
- String path = "index";//索引目录
- Analyzer analyzer = new IKAnalyzer();//采用的分词器
- IndexWriter iwriter = new IndexWriter(path, analyzer, true);
- File dir = new File("data");//待索引的数据文件目录
- File[] files = dir.listFiles();
- for(int i=0;i<files.length;i++){
- Document doc = new Document();
- File file = files[i];
- FileInputStream fis = new FileInputStream(file);
- String content = "";
- BufferedReader reader = new BufferedReader(new InputStreamReader(fis));
- StringBuffer buffer = new StringBuffer("");
- content = reader.readLine();
- while (content != null) {
- buffer.append(content);
- content = reader.readLine();
- }
- doc.add(new Field("title",file.getName(),Field.Store.YES,Field.Index.ANALYZED));
- doc.add(new Field("content",buffer.toString(),Field.Store.YES,Field.Index.ANALYZED));
- iwriter.addDocument(doc);
- }
- iwriter.close();
- }
- }
3.对索引进行查询并进行高亮highlighter处理
- package demo.test;
- import java.io.File;
- import java.io.IOException;
- import java.io.StringReader;
- import org.apache.lucene.analysis.Analyzer;
- import org.apache.lucene.analysis.TokenStream;
- import org.apache.lucene.document.Document;
- import org.apache.lucene.index.Term;
- import org.apache.lucene.search.IndexSearcher;
- import org.apache.lucene.search.Query;
- import org.apache.lucene.search.ScoreDoc;
- import org.apache.lucene.search.TermQuery;
- import org.apache.lucene.search.TopDocs;
- import org.apache.lucene.search.highlight.Highlighter;
- import org.apache.lucene.search.highlight.InvalidTokenOffsetsException;
- import org.apache.lucene.search.highlight.QueryScorer;
- import org.apache.lucene.search.highlight.SimpleFragmenter;
- import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
- import org.apache.lucene.store.Directory;
- import org.apache.lucene.store.FSDirectory;
- import org.wltea.analyzer.lucene.IKAnalyzer;
- public class TestHighlighter {
- @SuppressWarnings("deprecation")
- public static void main(String[] args) throws IOException, InvalidTokenOffsetsException {
- String path = "index";//索引目录
- Directory dir = FSDirectory.getDirectory(new File(path));
- IndexSearcher search = new IndexSearcher(dir);
- Term term = new Term("content","纯粹");
- Query query = new TermQuery(term);
- TopDocs topDocs = search.search(query, 10);
- ScoreDoc[] hits = topDocs.scoreDocs;
- //正常产生的查询
- for(int i=0;i<hits.length;i++){
- Document doc = search.doc(hits[i].doc);
- System.out.print(doc.get("title")+":");
- System.out.println(doc.get("content"));
- }
- //高亮设置
- Analyzer analyzer = new IKAnalyzer();//设定分词器
- SimpleHTMLFormatter simpleHtmlFormatter = new SimpleHTMLFormatter("<B>","</B>");//设定高亮显示的格式,也就是对高亮显示的词组加上前缀后缀
- Highlighter highlighter = new Highlighter(simpleHtmlFormatter,new QueryScorer(query));
- highlighter.setTextFragmenter(new SimpleFragmenter(150));//设置每次返回的字符数.想必大家在使用搜索引擎的时候也没有一并把全部数据展示出来吧,当然这里也是设定只展示部分数据
- for(int i=0;i<hits.length;i++){
- Document doc = search.doc(hits[i].doc);
- TokenStream tokenStream = analyzer.tokenStream("",new StringReader(doc.get("content")));
- String str = highlighter.getBestFragment(tokenStream, doc.get("content"));
- System.out.println(str);
- }
- }
- }
大家可以看到对于关键词的数据已经进行高亮处理了。 “中后期,不少群组改名<B>纯粹</B>是赶潮流和恶搞。”