lucene 优化

我们是用Lucene中提供的类IndexWriter来创建索引的,而我们可以看看IndexWriterConfig类中关系到索引创建效率的几个方法。

一、SetMergeFactor(合并因子)
SetMergeFactor是控制segment合并频率的,其决定了一个索引块中包括多少个文档,当硬盘上的索引块达到多少时,将它们合并成一个较大的索引块。当MergeFactor值较大时,生成索引的速度较快。MergeFactor的默认值是10,建议在建立索引前将其设置的大一些。

      IndexWriterConfig conf = new IndexWriterConfig(Version.LUCENE_36,analyzer);
      LogMergePolicy mergePolicy = new LogByteSizeMergePolicy();
      mergePolicy.setMergeFactor(3);
      conf.setMergePolicy(mergePolicy);

二、SetMaxBufferedDocs(最大缓存文档数)

SetMaxBufferedDocs是控制写入一个新的segment前内存中保存的document的数目,设置较大的数目可以加快建索引速度,默认为10。

三、SetMaxMergeDocs(最大合并文档数)
SetMaxMergeDocs是控制一个segment中可以保存的最大document数目,值较小有利于追加索引的速度,默认Integer.MAX_VALUE,无需修改。

     LogMergePolicy.setMaxMergeDocs(int)

在创建大量数据的索引时,我们会发现索引过程的瓶颈在于大量的磁盘操作,如果内存足够大的话,我们应当尽量使用内存,而非硬盘。可以通过SetMaxBufferedDocs来调整,增大Lucene使用内存的次数。Lucene支持使用文件系统和内存两种方式创建索引,我们还可以先把索引写入到RAMDirectory,达到一定数量时再批量写进FSDirectory,减少磁盘操作次数。

另外,use LogMergePolicy.setUseCompoundFile(boolean).这个方法可以使Lucene在创建索引库时,会合并多个 Segments 文件到一个 .cfs 中。此方式有助于减少索引文件数量,对于将来搜索的效率有较大影响。


  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值