【ES】Elasticsearch的写入数据的过程？Translog的作用？分片机制？

ES写入数据过程

路由到对应的节点以及对应的主分片时，会做以下的事：

1）首先将数据写到内存缓存区memory buffer。这个阶段的数据是易丢失的，如果节点在此时崩溃，数据可能会丢失。

2）然后将数据写到translog缓存区。

3）与 2）同时，ES将数据转换为Lucene可以理解的格式，每隔1s数据从buffer中refresh到FileSystemCache中，生成Lucene索引段（segments）文件，一旦生成segment文件，就能通过索引查询到了。Lucene索引段是不可变的，新的数据会被添加到新的或者已经存在的段中。

4）refresh完，memory buffer就清空了。

5）每隔5s，translog 从buffer flush到磁盘中。

6）定期/定量从FileSystemCache中，结合translog内容 flush 索引到磁盘中。

随着数据的不断插入和刷新，ES会产生许多小的段。为了提高搜索效率，ES会定期进行段合并操作，将多个小段合并成一个更大的段。

Translog作用

Translog在Elasticsearch的数据写入过程中扮演着关键的角色，它确保了数据的可靠性和搜索的实时性。

ES会将每次写入数据同时写到translog日志中，防止ES宕机造成数据丢失保证可靠存储。在节点崩溃或重启的情况下，ES可以通过读取Translog中的未提交操作来恢复数据，确保数据的一致性和完整性。

translog还用于提供实时CRUD。当尝试按ID检索，更新或删除文档时，它会首先检查translog中是否有任何最近的更改，然后再尝试从相关段中检索文档。 这意味着它始终可以实时访问最新的已知文档版本。

分片机制

ES的分片机制是其核心特性，它有助于实现数据的水平扩展、提高查询性能和保证高可用性。

分片（Shard）：在 Elasticsearch 中，每个索引被划分为多个分片。分片是一个独立的工作单元，包含索引中部分数据，并且每个分片都是一个完整的 Lucene 索引。
分片的主要目的是将大数据集分散到多台服务器上，以便进行并行处理和分布式存储。

主分片（Primary Shard）：每个索引在创建时都会指定一个主分片数量，这个数量不能在索引创建后更改。
主分片负责数据的写入和更新操作，并将数据持久化到磁盘。

副本分片（Replica Shard）：除了主分片外，还可以为每个索引配置副本分片的数量。副本分片是主分片的完整副本，它们从主分片复制数据并保持与主分片同步。副本分片主要用于提高数据的可用性和查询性能，因为搜索请求可以由主分片或其副本分片处理。

分片分配：Elasticsearch 集群中的节点负责托管分片。每个分片（无论是主分片还是副本分片）都可以被分配到集群中的任何节点上。Elasticsearch 使用一种算法来平衡分片在各个节点之间的分布，以优化资源利用和查询性能。

分片路由：当客户端向 Elasticsearch 发送索引、查询或删除请求时，请求会被路由到相应的分片。路由是基于文档的 _id 或自定义的 routing 参数以及分片数量通过哈希函数计算得出的，确保相同的文档总是路由到同一个分片。

分片操作：所有的写入操作（如索引和删除）首先发生在主分片上，然后这些更改会被复制到相关的副本分片。
查询操作可以由主分片或副本分片处理，Elasticsearch 会自动将请求路由到合适的分片。

分片恢复：如果某个节点出现故障或离线，其上的分片（包括主分片和副本分片）会在其他可用节点上重新分配和恢复。
这个过程依赖于 Translog（事务日志），它记录了尚未持久化的所有操作，用于在节点恢复后重建分片状态。通过这种分片机制，ES 能够有效地处理大规模的数据集，提供高可用性和容错能力，同时支持高效的并行查询和写入操作。随着集群规模的扩大或缩小，Elasticsearch 能够自动调整分片的分布，以保持集群的平衡和性能

参考

Elasticsearch写入原理深入详解