（七）lucene之中文检索和高亮显示以及摘要

• 前提：本章节使用lucene5.3.0版本，luke也是此版本的。

•  1.1  生成索引

package com.shyroke.lucene;

import java.io.IOException;
import java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.IntField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class Indexer {

    private Integer ids[]={1,2,3};
    private String citys[]={"青岛","南京","上海"};
    private String descs[]={
            "青岛是一个美丽的城市。",
            "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
            "上海是一个繁华的城市。"
    };
    
    private IndexWriter writer;
    /**
     * 实例化IndexWriter，这里使用中文分词器SmartChineseAnalyzer
     * @param indexDir 存放索引的目录
     * @return
     * @throws IOException
     */
    public IndexWriter getIndexWriter(String indexDir) throws IOException {
        Directory dir=FSDirectory.open(Paths.get(indexDir));
//        Analyzer analyzer=new StandardAnalyzer();
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
        IndexWriterConfig conf=new IndexWriterConfig(analyzer);
        IndexWriter writer=new IndexWriter(dir, conf);
        return writer;
    }
    
    public void index(String indexDir) throws IOException {
        this.writer=getIndexWriter(indexDir);
        
        for(int i=0;i<ids.length;i++) {
            Document document=new Document();
            document.add(new IntField("id", ids[i], Field.Store.YES));
            document.add(new StringField("city", citys[i], Field.Store.YES));
            document.add(new TextField("desc", descs[i], Field.Store.YES));
            writer.addDocument(document);
        }

        writer.close();
    }
    
    public static void main(String[] args) {
        try {
            new Indexer().index("E:\\lucene6\\index");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

• 橙色标注部分的SmartChineseAnalyzer  是中文的分词器，这样当执行main方法后生成的索引文件内容如下图：可见，中文词语已经被分组了。

 

•  1.2    中文查询，并高亮显示摘要

 

package com.shyroke.lucene;

import java.io.IOException;
import java.io.StringReader;
import java.nio.file.Paths;

import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.queryparser.classic.ParseException;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.search.highlight.Fragmenter;
import org.apache.lucene.search.highlight.Highlighter;
import org.apache.lucene.search.highlight.InvalidTokenOffsetsException;
import org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
import org.apache.lucene.search.highlight.SimpleSpanFragmenter;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class Searcher {
    
    private IndexSearcher searcher;
    private IndexReader reader;
    
    public Searcher(String indexDir) throws IOException {
        Directory dir=FSDirectory.open(Paths.get(indexDir));
        this.reader=DirectoryReader.open(dir);
        this.searcher=new IndexSearcher(this.reader);
    }
    
    public void search(String key) throws ParseException, IOException, InvalidTokenOffsetsException {
    
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
        QueryParser parser=new QueryParser("desc",analyzer);
        Query query=parser.parse(key);
        
        long start=System.currentTimeMillis();
        TopDocs hits=searcher.search(query, 10);
        long end=System.currentTimeMillis();
        System.out.println("匹配 "+key+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");
        
        QueryScorer scorer=new QueryScorer(query);
        Fragmenter fragmenter=new SimpleSpanFragmenter(scorer);
        SimpleHTMLFormatter simpleHTMLFormatter=new SimpleHTMLFormatter("<b><font color='red'>","</font></b>");
        Highlighter highlighter=new Highlighter(simpleHTMLFormatter, scorer);
        highlighter.setTextFragmenter(fragmenter);
        for(ScoreDoc scoreDoc:hits.scoreDocs){
            Document doc=searcher.doc(scoreDoc.doc);
            System.out.println(doc.get("city"));
            String desc=doc.get("desc");
            if(desc!=null){
                TokenStream tokenStream=analyzer.tokenStream("desc", new StringReader(desc));
                /**
                 * getBestFragment方法用于输出摘要（即权重大的内容）
                 */
                System.out.println(highlighter.getBestFragment(tokenStream, desc));
            }
        }
        reader.close();
    }
    
    
    public static void main(String[] args) throws InvalidTokenOffsetsException {
        try {
            new Searcher("E:\\lucene6\\index").search("南京 文化");
        } catch (ParseException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

• 执行上述代码前请务必先运行1.1生成索引的代码。
• 结果：

　　如图可见，查询desc的值为“南京 文化”的document只有一个，且输出的结果是格式化后的带有html标签的内容，在html文档中就会呈现高亮显示，且highlighter.getBestFragment(tokenStream, desc) 用这种方法输出的是摘要信息，可以对比输出信息与     

  对比可知，输出的内容是权重比较大的摘要信息。
           

 

转载于:https://www.cnblogs.com/shyroke/p/7942152.html