Lucene全文搜索学习笔记（三）

个人笔记之用，如有错误，恳请批评指正。

高亮，多字段查询，分页查询。

分页查询，接上 若查询第二页，每页5条。查询10条。遍历取回6-10条。需判断总条数与需要条数的关系 //总记录数小于end，说明scoreDocs不满end条。即返回的是start--totalHits条。否则返回的是start--end条 ScoreDoc[] scoreDocs = topDocs.scoreDocs; int size = end; if(topDocs.totalHits<end) { size = topDocs.totalHits; }

IndexWriterUtil的编写：整个项目唯一一个IndexWriter，并且在虚拟机关闭时自动close()； //注册虚拟机关闭线程 Runtime.getRuntime().addShutdownHook(new Thread(){ @Override public void run() { try { indexWriter.close(); System.out.println("indexWriter已经关闭了！"); } catch (CorruptIndexException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } });

做系统不仅要考虑功能，还要考虑非功能的东西，比如说性能，可维护性，交互性等。

IKAnalyzer中文分词器：开源的，轻量级的分词器。 使用IKAnalyzer,当参数为true时，表示使用最大词长分词，false表示使用细粒度分词 步骤： 1、  导包 2、  配置文件IKAnalyzer.cfg.xml到src目录下 3、  禁用词汇ext_stopword.dic和自定义词汇mydict.dic放到src目录下（/）（格式：第一行空格换行，并注意保存的编码要一致） 禁用词汇不建立索引库，所以搜索不到。但是会存储进索引库。 4、   //使用IKAnalyzer,当参数为true时，表示使用最大词长分词，false表示使用细粒度分词 IKAnalyzer = new IKAnalyzer(true); IndexWriter indexWriter = new IndexWriter(LuceneUtil.getDirectory(), LuceneUtil.getAnalyzer(), LuceneUtil.getMaxFieldLength()); 注意：当indexWriter用了IKAnalyzer以后，indexSearcher也要用IKAnalyzer

排序和多字段查询

//创建排序字段，参数一：指定排序字段；参数二：字段类型；参数三：设置升序或子降序，true为降序          SortField goodsId = new SortField("goodsId",SortField.INT,true);          Sort sort=new Sort();          //设置排序字段（可以多个字段）到sort对象中，排序的优先级，前者优先于后者          sort.setSort(goodsId,其它SortField对象);                    //使用IKQueryParser进行多字段数据查询          Query query=IKQueryParser.parseMultiField(new String[]{"goodsName","goodsRemark"},keyword);                 //执行查询，使用search(Query query , Filter filter , int n , Sort sort)方法，返回20条记录，加入排序设置信息          TopDocs topDocs = indexSearcher.search(query, null,20,sort);//null过滤器

排序： new SortField(“指定排序字段”，“字段类型”，“true：升序 false：降序”); sort = new sort(); sort.setSort(多个sortField); 多字段： query = IKQueryParser.parseMultiField(new String[]{“字段名”},“keyword”); 查询： indexSearcher.search(query,null,20,sort);   //排序+多字段查询 public void searchBySortAndMultiField(String keyword){ try { IndexSearcher indexSearcher = IndexSearcherUtil.getIndexSearcher(); //设置排序 SortField idField = new SortField("id", SortField.INT, false); //SortField contentField = new SortField("content",SortField.STRING,false); Sort sort = new Sort(); sort.setSort(idField); //设置多字段查询 Query query = IKQueryParser.parseMultiField(new String[]{"title","content"}, keyword); TopFieldDocs topFieldDocs = indexSearcher.search(query, null, 20, sort); System.out.println("总匹配数："+topFieldDocs.totalHits); ScoreDoc[] scoreDocs = topFieldDocs.scoreDocs; for (ScoreDoc scoreDoc : scoreDocs) { Document doc = indexSearcher.doc(scoreDoc.doc); System.out.println("title:"+doc.get("title")+"content:"+doc.get("content")); } } catch (CorruptIndexException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } }

高亮：

获取到Document对象后，对doc中指定字段的指定内容利用HighLighter对象进行高亮返回带有高亮格式的指定字段值,重新setValue到document中的对应field中，封装到对象输出。 具体步骤： Document doc = indexSearcher.doc(scoreDocs[i].doc); //设置高亮格式 Formatter fomatter = new SimpleHTMLFormatter("<font color='red'>", "</font>"); //设置需要高亮的关键字，指定查询信息 Scorer scorer = new QueryScorer(query); Highlighter highlighter = new Highlighter(fomatter,scorer); //制定高亮后的长度，需要SimpleFragmenter类型参数，指定20 int length = 20; highlighter.setTextFragmenter(new SimpleFragmenter(length)); //设置对哪些字段进行高亮，返回高亮后的结果 String titleResult = highlighter.getBestFragment(LuceneUtil.getIKAnalyzer(), "title", doc.get("title")); String contentResult = highlighter.getBestFragment(LuceneUtil.getIKAnalyzer(), "content", doc.get("content"));

对返回的String判空： Document doc = indexSearcher.doc(scoreDocs[i].doc); //设置高亮格式 Formatter fomatter = new SimpleHTMLFormatter("<font color='red'>", "</font>"); //设置需要高亮的关键字，指定查询信息 Scorer scorer = new QueryScorer(query); Highlighter highlighter = new Highlighter(fomatter,scorer); //制定高亮后的长度，需要SimpleFragmenter类型参数，指定20 int length = 20; highlighter.setTextFragmenter(new SimpleFragmenter(length)); //设置对哪些字段进行高亮，返回高亮后的结果 String titleResult = highlighter.getBestFragment(LuceneUtil.getIKAnalyzer(), "title", doc.get("title")); String contentResult = highlighter.getBestFragment(LuceneUtil.getIKAnalyzer(), "content", doc.get("content"));   对HighLighterUtils的抽取 Document doc = indexSearcher.doc(scoreDocs[i].doc); //设置高亮格式 Formatter fomatter = new SimpleHTMLFormatter("<font color='red'>", "</font>"); //设置需要高亮的关键字，指定查询信息 Scorer scorer = new QueryScorer(query); Highlighter highlighter = new Highlighter(fomatter,scorer); //制定高亮后的长度，需要SimpleFragmenter类型参数，指定20 int length = 20; highlighter.setTextFragmenter(new SimpleFragmenter(length)); //设置对哪些字段进行高亮，返回高亮后的结果 String titleResult = highlighter.getBestFragment(LuceneUtil.getIKAnalyzer(), "title", doc.get("title")); String contentResult = highlighter.getBestFragment(LuceneUtil.getIKAnalyzer(), "content", doc.get("content"));

索引库优化

indexWriter.optimize（）方法使用 新增数据时在提交前使用optimize()方法: 将把产生.cfs的文档和原来的文档压缩并合并为一个 修改操作类的保存数据方法 indexWriter.optimize(); indexWriter.setMergeFactor()方法使用 关键代码： //通过设置合并因子合并文件，如下：产生三个cfs文档（包括合并的）将压缩合并成一个 indexWriter.setMergeFactor(3);

写在最后，lucene初步入门，能实现初步的增删改查，分段、排序、高亮以及索引优化。

增删改查

Term 对应索引表里的关键词及字段 newTerm(“字段名”,”字段值”)

TopDocs只包括总记录数和文档编号(scoreDoc.doc)

           ScoreDoc[] scoreDocs = topDocs.scoreDocs;
           Document document = indexSearcher.doc(scoreDoc.doc);

通过文档编号再次查询searcher.doc(scoreDoc.doc)返回document

update原则：根据字段的值进行修改数据内容，先删除再添加。如果字段值不存在，则新增一条记录（文档），如果字段值唯一，那就相当于根据主键修改数据；如果字段值对应多条记录（文档），则其他记录（文档）将被逻辑删除后，再添加一条记录（文档）。

Delete原则：根据传入的字段值搜索对应的记录（文档），进行删除。

使用细节：

尽量减少不必要的字段的存储。Store.YES/Store.NO

不需要检索的内容尽量不要建立索引。Index.ANALYZED/Index.NOT_ANALYZED/Index.NO

非文本格式需要提前转化为字符串。

需要整体存放的内容不要分词，例如：ID、价格、专业词。Index.NOT_ANALYZED