Lucene中Directory

最新推荐文章于 2018-10-20 20:27:17 发布

原创最新推荐文章于 2018-10-20 20:27:17 发布 · 3.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#lucene

本文深入探讨了Lucene在使用MMapDirectory时遇到的Mmapclose不回收空间的问题，以及MMapDirectory与其他目录实现的区别。重点分析了如何通过hack方式回收内存，并讨论了RAMDirectory、CompoundFileDirectory等不同目录类型的特点与应用场景。

MMapDirectory继承自FSDirectory,针对jre至今没解决的Mmap close不回收空间(直至full gc才回收)的bug,lucene用hack方式回收(仅对sun jam)(线上目前还是出现这个问题，是什么情况,得确认一下)。其中64位linux下chunk是1G,MMAP之后返回ByteBuffer数组，其IndexInput类是MMapIndexInput。

FSDirectory有三种实现，SimpleFSDirectory,NIOFSDirectory,MMapDirectory,open默认仅对64位,sunjdk,windows或linux或sun os使用MMapDirectory,否则如windows则是SimpleFSDirectory,不然就使用NIOFSDirectory。RAMDirectory只对小索引好，大索引会出现频繁gc。CompoundFileDirectory仅可读不可写，这暗示cvs中的内容经过一层合并，效率必然慢,包括cfs和cfe文件,del文件不包括。对应合并操作的是在CompoundFileWriter中,NRTCachingDirectory提供一个RAMDIrectory做一个delegate的cache,用于nrt search,适合改动少，但实时性高的场景。