提高lucene建立索引的效率(大数据量时)

第一种方式:IndexWriter类中关系到索引创建效率的几个方法

一、SetMergeFactor(合并因子)
SetMergeFactor是控制segment合并频率的,其决定了一个索引块中包括多少个文档,当硬盘上的索引块达到多少时,
将它们合并成一个较大的索引块。当MergeFactor值较大时,生成索引的速度较快。
MergeFactor的默认值是10,建议在建立索引前将其设置的大一些。

二、SetMaxBufferedDocs(最大缓存文档数)
SetMaxBufferedDocs是控制写入一个新的segment前内存中保存的document的数目,
设置较大的数目可以加快建索引速度,默认为10。

三、SetMaxMergeDocs(最大合并文档数)
SetMaxMergeDocs是控制一个segment中可以保存的最大document数目,值较小有利于追加索引的速度,
默认Integer.MAX_VALUE,无需修改。

在创建大量数据的索引时,我们会发现索引过程的瓶颈在于大量的磁盘操作,如果内存足够大的话,
我们应当尽量使用内存,而非硬盘。可以通过SetMaxBufferedDocs来调整,增大Lucene使用内存的次数。

如果内存足够大的话,我们也可以在索引过程中完全避免使用硬盘。Lucene支持使用文件系统和内存两种方式创建索引,
我们可以先把索引写入到RAMDirectory,达到一定数量时再批量写进FSDirectory,减少磁盘操作次数。相关的代码如下:
RAMDirectory rmd = new RAMDirectory();
IndexWriter writer = new IndexWriter(rmd, new StandardAnalyzer(), true);
while (not eof)         //遍历
{
Document doc = new Document();
doc.Add(…);  //Add Fields
writer.AddDocument(doc);
}
writer.SetUseCompoundFile(true);
writer.Optimize();
writer.Close();
另外,SetUseCompoundFile这个方法可以使Lucene在创建索引库时,会合并多个 Segments 文件到一个 .cfs 中。
此方式有助于减少索引文件数量,对于将来搜索的效率有较大影响。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值