二 Elasticsearch分布式架构特性

一 分布式特性对用户透明

使用时就像使用单机程序一样，不用关心数据如何在不同的机器上做分布式处理。

Elasticsearch后台会进行如下处理：

1. 分片 shard，将数据切分放到不同的机器上去。

2. shard会自动均匀的分布到各个节点上面去。集群扩容的话，shard会进行均衡重分配。

3. 每个shard都有副本容错，并且具有请求路由，都可以提供数据服务。

4. cluster discovery，集群可以识别发现新的机器并将其加入集群。

二 垂直扩容和水平扩容

垂直扩容：对机器性能进行升级。

水平扩容：使用多台廉价的机器组成集群。

三 master节点功能

1. 创建或删除索引。

2. 增加或删除节点。

四 节点平等

Elasticsearch中的节点对等，每个节点都能接收所有的请求，会自动请求路由和响应收集。

 

五 shard&replica特性汇总

1. 一个index包含多个shard。

2.shard是最小工作单元，承载index的部分数据。

3. 增减节点时，shard会自动在nodes中负载均衡。

4. replica shard是primary shard的副本，负责容错和读请求负载。

5. 一个document只会存在于一个primary shard和其对应的replica shard中，不会存在于多个primary shard及另外的primary shard对应的replica中。

6. primary shard在创建索引的时候就确定了，replica shard的数量可以随时修改。

7. primary shard的数量默认是5，一个primary shard默认有一个replica shard，即：默认有10个shard，5个primary shard，5个replica shard。

8. primary shard不能和自己的replica放在同一个节点上。

9. 单集群环境下创建index：有3个primary shard会被创建，没有replica shard被创建。集群status是yellow。集群可以工作，但一旦塔机，所有数据丢失。

10. 2个node环境下，会有3个primary shard和3个replica shard；primary shard向replica shard同步数据；读请求可以同时请求primary shard和replica shard。

六 水平扩容

（1）primary&replica自动负载均衡，比如6个shard，则有3 primary和3 replica
（2）每个node有更少的shard，IO/CPU/Memory资源给每个shard分配更多，每个shard性能更好
（3）扩容的极限，6个shard（3 primary，3 replica）最多扩容到6台机器，每个shard可以占用单台服务器的所有资源，性能最好
（4）超出扩容极限，动态修改replica数量，9个shard（3primary，6 replica），扩容到9台机器，比3台机器时，拥有3倍的读吞吐量
（5）3台机器下，9个shard（3 primary，6 replica），资源更少，但是容错性更好，最多容纳2台机器宕机，6个shard只能容纳1台机器宕机
（6）这里的这些知识点，你综合起来看，就是说，一方面告诉你扩容的原理，怎么扩容，怎么提升系统整体吞吐量；另一方面要考虑到系统的容错性，怎么保证提高容错性，让尽可能多的服务器宕机，保证数据不丢失