全文检索之lucene的优化篇 建索引库

最新推荐文章于 2023-05-29 02:03:01 发布
最新推荐文章于 2023-05-29 02:03:01 发布
阅读量924 收藏
点赞数

全文检索之lucene的优化篇 建索引库

作者： 发布日期：2015-01-02 00:16:04
我来说两句(0)
Tag标签： 全文检索 索引

  • 在上一篇HelloWorld的基础上，建立一个directory的包,添加一个DirectoryTest的测试类,用来根据指定的索引目录创建目录存放指引.


    DirectoryTest类中的代码如下,基本上就是在HelloWorld的基础上改改就可以了.

    里面一共三个方法,testDirectory(),测试创建索引库;testDirectoryFSAndRAM(),结合方法1的两种创建方式,优化;testDirectoryOptimize(),在方法2个基础上,研究索引的优化创建,减少创建的索引文件数.

    view source print ?
    01. package com.lucene.directory;
    02.
    03. import org.apache.lucene.analysis.Analyzer;
    04. import org.apache.lucene.analysis.standard.StandardAnalyzer;
    05. import org.apache.lucene.document.Document;
    06. import org.apache.lucene.index.IndexWriter;
    07. import org.apache.lucene.index.IndexWriter.MaxFieldLength;
    08. import org.apache.lucene.store.Directory;
    09. import org.apache.lucene.store.FSDirectory;
    10. import org.apache.lucene.store.RAMDirectory;
    11. import org.junit.Test;
    12.
    13. import com.lucene.units.File2DocumentUtils;
    14.
    15. /**
    16. * 创建索引库
    17. * @author liu
    18. *
    19. */
    20. public class DirectoryTest {
    21.
    22. // 需要查询的文件所在的路径
    23. String filePath = "F:\\Users\\liuyanling\\workspace\\LuceneDemo\\datasource\\peoplewhocannot.txt";
    24. // 设置索引存放的路径
    25. String indexPath = "F:\\Users\\liuyanling\\workspace\\LuceneDemo\\luceneIndex";
    26. // 设置分词器为标准分词器
    27. Analyzer analyzer = new StandardAnalyzer();
    28.
    29. /**
    30. * 测试,自动建立索引库
    31. * @throws Exception 抛出异常
    32. */
    33. @Test
    34. public void testDirectory() throws Exception {
    35. //将索引生成到文件系统中(优点:数据永久保存;缺点:操作速度慢)
    36. Directory dir = FSDirectory.getDirectory(indexPath);
    37.
    38. /*//将索引生成到内存中(优点:速度快,缺点:程序关闭,数据清除)
    39. Directory dir = new RAMDirectory();*/
    40.
    41. //所以可以结合:1.生成的时候,生成到内存中;2.关闭的时候,保存起来.(参看下面的方法testDirectoryFSAndRAM)
    42.
    43. Document doc = File2DocumentUtils.file2Document(filePath);
    44. IndexWriter indexWriter = new IndexWriter(dir, analyzer, true,MaxFieldLength.LIMITED);
    45. indexWriter.addDocument(doc);
    46.
    47. indexWriter.close();
    48. }
    49.
    50. /**
    51. * 测试,启动时读取内存中,退出时保存
    52. * @throws Exception 抛出异常
    53. */
    54. @Test
    55. public void testDirectoryFSAndRAM() throws Exception {
    56. //创建文件系统的索引库
    57. Directory fsDir = FSDirectory.getDirectory(indexPath);
    58.
    59. //1.启动时读取
    60. //构造内存的索引库
    61. Directory ramDir = new RAMDirectory(fsDir);
    62. //运行程序时操作ramDir,构造操作内存索引库的索引器
    63. IndexWriter ramIndexWriter = new IndexWriter(ramDir,analyzer,MaxFieldLength.LIMITED);
    64. //添加文档Document,将文档创建索引到内存索引库
    65. Document doc = File2DocumentUtils.file2Document(filePath);
    66. ramIndexWriter.addDocument(doc);
    67. ramIndexWriter.close();
    68.
    69. //2.退出时保存
    70. //构造文件系统的索引器,true表示要重写指定的存放索引目录下的索引文件,false则表示在指定存放索引目录下已经存在的索引文件的基础上，向其中继续追加新的索引文件。
    71. IndexWriter fsIndexWriter = new IndexWriter(fsDir,analyzer,true,MaxFieldLength.LIMITED);
    72. //不进行优化的添加索引,将内存中的索引库添加到文件系统中
    73. fsIndexWriter.addIndexesNoOptimize(new Directory[] {ramDir});
    74.
    75. //fsIndexWriter.flush();
    76. //fsIndexWriter.optimize();
    77.
    78. fsIndexWriter.close();
    79. }
    80.
    81. /**
    82. * 索引生成,优化,合并索引文件,减少生成索引文件数
    83. * @throws Exception
    84. */
    85. @Test
    86. public void testDirectoryOptimize() throws Exception {
    87. //创建文件系统的索引库
    88. Directory fsDir = FSDirectory.getDirectory(indexPath);
    89. //构造索引器
    90. IndexWriter fsIndexWriter = new IndexWriter(fsDir,analyzer,MaxFieldLength.LIMITED);
    91. //使用索引器,优化的生成索引
    92. fsIndexWriter.optimize();
    93. fsIndexWriter.close();
    94. }
    95.
    96. }

    查看运行效果,

    1.先测试testDirectory()的Directory dir =FSDirectory.getDirectory(indexPath); 为体现效果,先删除现有的索引文件.


    测试成功之后


    刷新项目,就可以看到新建好的索引.


    2.再测试testDirectory()的Directory dir = new RAMDirectory();，还是删除索引文件，执行单元测试，成功，但是并没有在文件系统中生成可以看到的索引库。但是可以比较下，两种方法执行的时间，很明显的，在内存中创建速度相当快.


    3.由于在将索引生成到文件系统中(优点:数据永久保存;缺点:操作速度慢)，而将索引生成到内存中(优点:速度快,缺点:程序关闭,数据清除)，所以两者结合的testDirectoryFSAndRAM方法，先看下效果，因为没有索引文件，也不用删除.

    运行成功，时间比只用内存索引库和文件系统索引库都要长，但是这只是将一个Document文件创建成索引,如果是多个,那么该方法是会提高效率的.


    并且可以看到索引库也生成了。


    4.现在为了执行优化的创建索引testDirectoryOptimize，先多创建几条索引。现在用testDirectoryFSAndRAM创建了4条索引了。

    执行HelloWorld的search方法，可以看出是4条。


    接着执行优化方法


    索引文件由原来的4条8k的记录,变为1条24k的记录.从结果上看,一是体积减少;2是文件变少.


    5.现在知道了,先创建内存索引器来操作文档,结束时保存,在文件多的时候可以起到优化的作用,而optimize方法可以减少索引的文件,以及体积,两个结合,可以生成优化的索引.其中,fsIndexWriter.flush();已经过时,把这句注了,运行也是成功的,效果也是有的.

    view source print ?
    1. //不进行优化的添加索引,将内存中的索引库添加到文件系统中
    2. fsIndexWriter.addIndexesNoOptimize(new Directory[] {ramDir});
    3.
    4. //fsIndexWriter.flush();
    5. fsIndexWriter.optimize();

    以上就是lucene的创建索引库.指定索引位置,先在内存中创建索引,然后保存到文件系统中,同时可以进行优化,合并索引文件.下一篇是对于分词器,采用多种分词器,查看他们的分词效果，《全文检索之lucene的优化篇--分词器》

huangkai2012
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
lucene索引优化多线程多目录创建索引
05-12
一步一步跟我学习lucene是对近期做lucene索引的总结，
Lucene索引优化
netswan
11-02 205
Lucene是高效的，但如果使用不当也会让系统变得很难 下面是我实践中，影响查询性能几个重要因素： １.索引库的大小，索引库越大查询的性能越差，至于为什么，我想我也不用解释了.解决的最好方法，就是将索引分类，分成多个索引库.避免单个索引库过大 ２.查询棑序.如果你对结果集里的某个特定项进行排序，当查询结果比较多时，系统会变得非常慢.而且无论你对索引进行何种优化都中徒劳的.所以在查询中禁用FILEI...
Lucene 索引优化
weixin_30920597的博客
05-09 68
　　　　　　　　　　　　　　　　　　　　　　　　　　转自---http://www.codeceo.com/article/lucene-index.html 1 数值数据类型索引优化 1.1 数值类型索引问题 lucene本质上是一个全文检索引擎而非传统的数据库系统，它基于倒排索引...
Lucene索引库的优化
C.
04-26 569
当执行创建索引多次时，索引库的文件如图所示：(索引里内容是一样的) 从图中可以看出来，每执行一次就生成一个cfs文件。当执行delete操作时，会生成如图所示的结构： 从图中可以看出来，lucene在执行删除的时候，是先把要删除的元素形成了一个文件del文件，然后再和cfs文件进行整合得出最后结果。 结论：如果增加、删除反复操作很多次，就会造成文件大量增加，这样检索的速度也会下降，所以我们有必
Lucene索引库的简单优化
墨竹
04-06 576
根据实际情况对索引库进行优化，可以提升创建索引和搜索的速度。　　1、合并索引库片段文件　　IndexWriter的optimize()方法已经过时，因为这个方法的效率很低。合并文件主要是使用IndexWriter的setMergeFactor(int)方法，但是在Lucene3.6版本中，该方法已过时，直接使用LogMergePolicy.setMergeFactor(int)方法代替。　　当set
LuceneUtils_lucenejava_全文检索_lucene_
09-28
Lucene，作为Apache软件基金会的一个顶级项目，是Java语言开发的全文检索库，提供了强大的文本分析、索引构建和搜索功能。本文将深入探讨如何使用LuceneJava来创建中文索引并实现全文检索。 一、Lucene简介 Lucene...
lucene全文检索简单索引和搜索实例
03-08
二、Lucene索引创建流程 1. 初始化：首先，我们需要导入Lucene库，并创建一个标准的Analyzer，例如StandardAnalyzer，它对输入的文本进行标准化处理。 2. 创建索引目录：索引数据会存储在一个Directory对象中，...
luke8用于查看lucene保存的索引库数据和文档数据
04-09
luke8作为一款强大的Lucene索引分析工具，对于开发人员和系统管理员来说，是理解和优化全文检索系统的必备利器。通过它，我们可以直观地看到索引库的内部结构，更好地理解和控制搜索行为，从而提升系统的检索效率和...
最新全文检索 lucene-5.2.1 入门经典实例
04-12
Lucene是一个开源的全文检索库，由Apache软件基金会开发并维护。作为Java编写的一个强大的信息检索引擎，它为开发者提供了构建高效、可扩展的搜索功能的工具。在5.2.1版本中，Lucene引入了多项改进和优化，使其在...
Lucene.Net 实现全文检索
03-10
总的来说，Lucene.Net 在 .Net MVC4 上实现全文检索是一个涉及数据库交互、索引构建、查询处理和结果展示的综合过程。通过熟练掌握 Lucene.Net 的使用，可以为用户提供高效、准确的全文搜索体验。
Lucene的几点索引建设优化
相信技术的力量
06-07 1946
现如今越来越多的人使用Lucene来开发自己的搜索引擎，在数据量不大的情况下，我们一般不会太关注创建索引的效率，但是，当数据达到一定的数量时候，我们就必须要考虑如何的去提高创建索引的性能，以减少创建索引的时间。 1、合并因子       setMergeFactory是控制segment合并频率的，其决定了一个索引块中包含多少个文档并且当硬盘上的索引文件达到多少时，将他们合并成一个较大的索引块
Lucene入门之索引的建立和优化
snowteng17的专栏
08-08 4249
索引的建立和优化索引的建立   对不同的文本使用不同的分析器     普通情况下，建立索引器，并向索引器添加文档的语句如下：     IndexWriter writer=new IndexWriter(indexPath,new StandardAnalyzer());     Writer.addDoc
Lucene优化
qq_29188567的博客
05-29 431
解决大量磁盘IO config.setMaxBufferedDocs(100000); 控制写入一个新的segment前内存中保存的document的 数目，设置较大的数目可以加快建索引速度。 数值越大索引速度越快, 但是会消耗更多的内存 indexWriter.forceMerge(文档数量); 设置N个文档合并为一个段 数值越大索引速度越快, 搜索速度越慢; 值越小索引速度越慢, 搜索速度越快 更高的值意味着索引期间更低的段合并开销，但同时也意味着更慢的搜索速度，因为此时的索引通 常会包含更多的段。如
Lucene6.6多查询优化
Radom&7
08-09 662
前面是用list集合和交集方法来实现Lucene的多查询功能，具体可以查看之前的博客：http://blog.csdn.net/qq_26641781/article/details/76912310，现在换成调用Lucene API的函数实现多查询的功能，还是上代码吧： //文件名检索传递 Term term = new Term("name", queryTitle
Lucene底层原理和优化经验分享：Lucene简介和索引原理
mine_song的博客
02-22 3932
Lucene底层原理和优化经验分享：Lucene简介和索引原理
Java轻量级全文检索引擎Lucene使用及优化
最新发布
BXA
05-29 4199
Lucene是一个开源的全文检索引擎工具包由Doug Cutting编写。它被设计用于实现全文搜索功能，即读入一堆文本文件并将其转换为易于搜索的数据结构。Lucene提供了一组简单而强大的API，使得索引和搜索过程变得非常方便。
Lucene性能优化
danyajuan的专栏
03-10 2926
 9 性能优化一直到这里，我们还是在讨论怎么样使lucene跑起来，完成指定任务。利用前面说的也确实能完成大部分功能。但是测试表明 lucene的性能并不是很好，在大数据量大并发的条件下甚至会有半分钟返回的情况。另外大数据量的数据初始化建立索引也是一个十分耗时的过程。那么如何提高lucene的性能呢？下面从优化创建索引性能和优化搜索性能两方面介绍。9.1 优化创建索引性能这方面的优
lucene学习笔记（二）lucene建立索引
刘本龙的专栏
01-25 1244
1. 基本概念Field.Store.YES或者NO(存储域选项) 设置为YES表示或把这个域中的内容完全存储到文件中，方便进行文本的还原 设置为NO表示把这个域的内容不存储到文件中，但是可以被索引，此时内容无法完全还原(doc.get) Field.Index(索引选项) Index.ANALYZED:进行分词和索引，适用于标题、内容等 Index.NOT_ANALYZED:进行索引，但是不进行分
资源整合,跨库检索,信息服务平台
windy_zhangzf的专栏
01-12 1609
问题与需求分析（数据源）随着信息化深入，造成信息系统越建越多，相反信息的获取和利用越来越困难，信息孤岛问题越发严重；信息资源布局分散、类型异构，导致信息资源的整合和全局应用越来越困难；信息加工、维护、管理分散在不同系统中，信息资源分散在不同系统中，用户权限互不兼容，无法实现一站式信息服务；信息发布服务多个系统并行，缺乏统一的信息服务门户，缺乏按需定制的门户设计和扩展能力；迫切需要一个平台实现对

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值