lucene 增量 全量 更新索引_高效的进行检索更新

e962680ba1bd2b75f99c750b3dbc0ce4.png

工业界更新索引 ---Double Buffer(双缓冲)机制

​ Double Buffer就是内存中同时保存两份一样的索引,一个是索引A,一个是索引B。我们会使用一个指针p指向索引A,表示索引A是当前可访问的索引。

​ 如果用户通过p去访问索引A,假如需要更新,这时候只更新索引B。

​ 更新完索引B之后,将指针p通过原子操作从A直接切换到B上。接着,就将索引B当做只读索引,然后更新索引A。

​ 通过这样,保持一个读,一个写,并且来回切换,最终完成高性能的索引更新。并且可以积累一批新数据以后再批量更新。

ca65a969997ce22985c1bd3b648111c9.png

全量索引结合增量索引

​ 全量索引:系统周期性地处理全部的数据,生成一份完整的索引

​ 增量索引:将新接收到的数据单独建立一个可以存在内存中的倒排索引

​ 全量索引+增量索引:查询发生的时候,同时查询全量索引和增量索引,将合并的结果作为总的结果输出。

​ 删除索引的时候,我们不能直接删除增量索引中的数据(如果直接删除,增量索引中没有这个数据,全量索引中会有这个数据),而是应该增加一个删除列表,将删除的数据记录保存在列表中,检索的时候就将全量索引表和增量倒排表的检索结果和删除列表做对比。

c97e735936a6531f2a54ca8c6b8c163c.png

增量索引空间的持续生长

1.完全重建法

​ 如果增量索引的增长速度不是很快,或者全量索引重建代价不大,可以在索引写满内存空间之前,完全重建一次全量索引。然后,旧的增量索引的空间就可以释放。

2.再合并法

​ 可以将全量索引想象成一个已经将多个小索引合并好的大索引,然后把增量索引想象成一个新增的小索引。这样可以直接归并全量索引和增量索引,生成一个新的全量索引。!

fc0777f2ccd287f6c6350318d39fe454.png

3.滚动合并法

​ 先生成多个不同层级的索引,然后逐层合并。

​ 如:一个检索系统在磁盘中保存了全量索引、周级索引和天级索引。所谓周级索引,就是根据本周的新数据生成的一份索引,那天级索引就是根据每天的新数据生成的一份索引。在滚动合并法中,当内存中的增量索引增长到一定体量时,我们会用再合并法将它合并到磁盘上当天的天级索引文件中

30353a0a6b1db87f1075936bc0eeef2c.png
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Lucene是一个开源的全文搜索引擎库,它提供了丰富的API和功能来创建、更新和搜索索引。要更新Lucene索引,首先需要获取一个IndexWriter实例,然后通过该实例来执行索引更新操作。 更新索引的过程通常包括以下几个步骤: 1. 创建或获取一个IndexWriter实例:IndexWriter负责索引的写入和更新操作,需要确保只有一个线程能够同时操作一个IndexWriter实例。 2. 创建或获取文档对象:更新索引需要构建文档对象,可以通过Document类来创建一个文档对象,并向其添加字段。 3. 执行更新操作:可以通过IndexWriter的addDocument、updateDocument或deleteDocuments方法来执行索引的添加、更新或删除操作。 4. 提交更新:在更新索引操作完成后,需要调用IndexWriter的commit或flush方法来提交更新,使更新操作生效。 更新索引的频率取决于应用的需求,可以是实时更新,也可以是批量更新。总之,更新索引是一个重要的操作,在使用Lucene构建搜索引擎或全文检索功能时,需要根据具体的业务需求来合理地更新索引。同时,为了保证索引更新的性能和可靠性,需要注意合理地管理IndexWriter实例,确保其在适当的时候被关闭或重新打开。 总之,通过Lucene的API和功能,可以方便地进行索引更新操作,从而保证应用的搜索功能能够及时、准确地返回符合用户需求的搜索结果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值