ElasticSearch Cluster的一致性问题

前言

自以为对ES 架构还是蛮熟悉了，但是在最近的面试过程中聊到了ES架构偏底层的一些东西，结果发现还是没有能够把技术细节和技术原理融会贯通

名词解释

Cluster: 集群，一个集群包含多个Node，且会有一个Master Node
Node: 节点，一般来说一个及其部署一个Node
Shard: 分片，指的是一个Index分成多少份，这些Shards会分散到各个Node上面

为什么要使用多个ES Cluster？

高可用方面：

ElasticSearch拥有许多高可用的特性，例如Replica，例如Data Node挂掉后的数据迁移，例如Master Node挂掉后的自动重选，但这不代表万无一失了。常见的坑是，某个Node表现糟糕但是偏偏又没挂（挂了反而更好），此时整个Cluster的性能就会被一个坑爹Node拖累，这往往就是雪崩的开始。 因此，从高可用方面来考虑，应当部署多个ES Cluster(部分作为灾备)。

性能方面：

单个Cluster的搜索能力是有瓶颈的。Cluster越大，Node越多，自然Shard就越多。而Shard不是越多越好，Shard增多会导致通讯成本的增加、查询结束时候的Re-ranking环节的负担增加。如果有100台机器，那么比起一个100 Node、300 Shards的巨型Cluster，使用十个Node 30 Shards的小型Cluster可能表现会更好一些。