ElasticSearch最佳入门实践（十一）分布式原理 横向扩容过程，如何超出扩容极限，以及如何提升容错性

1. 横向扩过程，如何超出扩容极限，以及如何提升容错性

这里的这些知识点，你综合起来看，就是说，一方面告诉你扩容的原理，怎么扩容，怎么提升系统整体吞吐量；另一方面要考虑到系统的容错性，怎么保证提高容错性，让尽可能多的服务器宕机，保证数据不丢失

（1）primary&replica自动负载均衡，6个shard，3 primary，3 replica
（2）每个node有更少的shard，IO/CPU/Memory资源给每个shard分配更多，每个shard性能更好

 （3）扩容的极限，6个shard（3 primary，3 replica），最多扩容到6台机器，每个shard可以占用单台服务器的所有资源，性能最好

（4）超出扩容极限，动态修改replica数量，9个shard（3primary，6 replica），扩容到9台机器，比3台机器时，拥有3倍的读吞吐量

（5）3台机器下，9个shard（3 primary，6 replica），资源更少，但是容错性更好，最多容纳2台机器宕机，6个shard只能容纳1台机器宕机

2. Elasticsearch容错机制: master选举，replica容错， 数据恢复

（1）假设 9 shard，3 node
（2）master node宕机

集群的健康状况：
green：每个索引的primary shard和replica shard都是active状态的
yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是active状态，处于不可用的状态
red：不是所有索引的primary shard都是active状态的，部分索引有数据丢失了

cluster status = red的原因：
master node 宕机的一瞬间，shard0（primary shard0）就没了，此时就不是所有的primary shard 都是active 状态了！

（3）容错第一步: master选举。自动选举另外一个node成为新的master。承担起master的责任来

（4）容错第二步:

• 新的master，将丢失掉的primary shard的某个replica shard 提升为primary shard
• 此时cluster status变为yellow，因为primary shard全都变成了active
• 但是，少了一个replica shard，所以不是所有的replica shard都是active

 

（5）容错第三步:

• 重启宕机的node
• new master 会将缺失的副本都copy一份到该node上
• 而且该node会使用之前的已有的shard数据，只是同步一下宕机之后发生过的修改
• 此时，cluster status 变成green，因为primary shard 和replica shard 都齐全了