Elasticsearch之History Retention

Elasticsearch有时需要重放分片的操作。例如，当一个副分片短暂的离线，重放其离线期间的小量操作，肯定比重新构建该副分片更高性能。同样的，跨集群复制也是通过在从集群中重放主集群的操作而实现。

在Lucene中，对于一个Index，只有两种写操作：索引文档和删除文档。更新文档是通过原子删除文档再索引新文档实现。Lucene索引的文档已经包含了重放索引操作的全部信息，但是删除文档却不是，无法重放删除操作。为此，Elasticsearch使用特性：软删除，去保存在Lucene的删除操作，以便用于重放。

Elasticsearch仅保存某些最新删除的文档，因为有些文档仍然占据存储空间。最终，Elasticsearch会丢弃被删除的文档以便释放空间，从而防止索引变得越来越大。幸运的是，Elasticsearch并不会去重放对分片的每个操作，因为可以复制分片到另一个节点。但是，复制整个分片花费的时间会被重放小量操作要更加耗时，所以Elasticsearch尝试保留未来可能重放的所有操作。

Elasticsearch通过分片history retention leases机制追踪未来需要重放的操作。每个分片复制需要先创建分片history retention leases以便重放需要的操作。例如，分片复制可以是复制副分片或者跨集群同步时从索引的分片。每一个分片retention lease会追踪分片复制时丢失的第一个操作的序列号。当复制的分片收到新的操作，分片会增加该分片retention lease中的对应的序列号，表明不需要重放上述操作。一旦分片的retention lease不再持有软删除操作的序列号，Elastcsearch就会丢失软删除操作。

当分片复制遇到失败，分片会停止更新hisotry retention lease，意味着Elasticsearch会保留所有新的操作，当失败的复制分片需要恢复时，就会对上述操作进行重放。但是，retention leases仅仅会等待一定时间，如果分片复制不能足够快恢复，分片的retention lease就会触发。这样能在某些不能恢复正常的分片复制中，避免Elasticsearch永远保留历史操作，因为一旦retention lease被触发后，Elasticsearch就会丢弃历史操作。当分片的retention lease被触发，Elasticsearch会回退到复制整个索引，因为已经没有可以重放的历史。分片的retention lease默认到期时间为12h，这个到期时间对大多数场景都足够长了。

在最近的版本中，软删除已经默认启动，但是可以在创建索引时指定关闭或开启。但是一旦关闭软删除，对端的节点的分片恢复也可以从translog中复制缺失的操作而实现重放。如果关闭软删除，跨集群的功能会无效。

History retention 配置：

index.soft_deletes.enabled

index.soft_deletes.retention_lease.period