强制清除Elasticsearch中已删除的文件

最新推荐文章于 2025-02-18 19:30:00 发布

quicknet

最新推荐文章于 2025-02-18 19:30:00 发布

阅读量2.7w

点赞数

分类专栏： Elasticsearch

本文链接：https://blog.csdn.net/quicknet/article/details/46421505

版权

Elasticsearch基于Lucene，文档删除后不会立即从segment中移除，而是被标记为删除。在segment合并时，被删除文档才会真正消失。当需要释放资源时，可以使用 `_optimize` 命令强制合并并删除文档，但该操作需谨慎，可能消耗大量CPU和I/O资源，建议在维护窗口进行。操作期间应暂停读写操作，防止数据丢失。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Elasticsearch是建立在Apache Lucene 基础上的实时分布式搜索引擎，Lucene为了提高搜索的实时性，采用不可再修改（immutable）方式将文档存储在一个个segment中。也就是说，一个segment在写入到存储系统之后，将不可以再修改。那么Lucene是如何从一个segment中删除一个被索引的文档呢？简单的讲，当用户发出命令删除一个被索引的文档#ABC时，该文档并不会被马上从相应的存储它的segment中删除掉，而是通过一个特殊的文件来标记该文档已被删除。当用户再次搜索到#ABC时，Elasticsearch在segment中仍能找到#ABC，但由于#ABC文档已经被标记为删除，所以Lucene会从发回给用户的搜索结果中剔除#ABC，所以给用户感觉的是#ABC已经被删除了。

Elasticseach会有后台线程根据Lucene的合并规则定期进行segment merging合并操作，一般不需要用户担心或者采取任何行动。被删除的文档在segment合并时，才会被真正删除掉。在此之前，它仍然会占用着JVM heap和操作系统的文件cache等资源。在某些