【Elasticsearch】05 ES 节点、集群、分片、副本

一、分布式系统的可用性与扩展性

1、高可用性

1. 服务可用性：允许节点停止服务

2. 服务可用性：部分节点丢失,不会丢数据

2、可扩展

1. 请求量提升 / 数据的不断增长（将数据分布到所有节点上）

二、分布式特性

1、ES 的分布式架构的好处

1. 存储的水平扩容

2. 提高系统的可用性,部分节点停止服务,整个集群的服务不受影响

2、ES 的分布式架构

a:不同的集群通过不同的名字来区分,默认名字“elasticsearch”

b:通过配置文件修改,或者在命令行中 -E cluster.name=flame进行设定

c:一个集群可以有一个或者多个节点

三、节点

1、节点是一个ES 的实例

a:本质上就是一个java进程
b:一台机器上可以允许多个ES进程,生产环境建议一台机器上只运行一个ES实例。

2、每个节点都有名字,配置文件指定,或者启动时候 -E node.name=node1指定

3、每一个节点在启动之后,会分配一个UID,保存在data 目录下

四、Master-eligible nodes 与 Master node

1、每个节点启动后,默认就是一个Master eligible 节点

可以设置node.master:false 禁止

2、Master-eligible 节点可以参加选主流程,成为Master节点

3、当第一个节点启动时候,他会将自己选举成为Master节点

4、每个节点都保存了集群的状态,只有Master节点才能修改集群的状态信息

1. 集群状态（Cluster State）,维护了一个集群中,必要的信息

a: 所有的节点信息

b: 所有的索引和其相关的Mapping 与Setting信息

c: 分片路由信息

2. 任意节点都能修改信息会导致数据的不一致性

五、Data Node & Coordinating Node

1、Data Node

可以保存数据的节点,叫做Data Node。负责保存分片数据。在数据扩展上起到了至关重要的作用。

2、Coordinating Node

1. 负责接收Client 的请求,将请求分发到合适的节点,最终把结果汇集到一起

2. 每个节点默认都起到了Coordinating Node的职责

六、其他节点类型

1、Hot & Warm Node（日志处理）

不同硬件配置的Data Node,用来实现Hot & Warm 架构, 降低集群部署的成本

Hot 节点配置高: CPU 内存 实现高的吞吐量

Warm 配置低: 存储一些旧的数据

2、Machine Learnibf Node

负责跑机器学习的 job,用来做异常检测

3、Tribe Node

（5.3 开始使用Cross Cluster Serach）Tribe Node 连接到不同的ES 集群,并且支持将这些集群当成一个单独的集群处理。

七、配置节点类型

1、开发环境中:一个节点可以承担多种角色

2、生产环境中:应该设置单一的角色的节点(dedicated node)

3、每个节点启动的时候会读取yaml配置文件来决定自己承担的角色

节点类型	配置参数	默认值
maste eligible	node.master	true
data	node.data	true
ingest	node.ingest	true
coordinating only	无	每个节点默认都是coordinating 节点。设置其他类型全部为false
machine learning	node.ml	true

八、分片（Primary Shard & Replica Shard）

1、主分片：用来解决数据水平扩展的问题。通过主分片,可以将数据分布到集群内的所有节点之上

a: 一个分片是一个运行的Lucene的实例

b: 主分片数在索引创建时指定,后续不允许修改,除非Reindex。修改后查询会出现问题。

2、副本：用来解决数据高可用的问题,分片是主分片的拷贝

a: 副本分片数,可以动态的调整

b: 增加副本数,可以在一定程度上提高服务的可用性(读取的吞吐量)。增加副本会影响聚合的时间=> 权衡

九、分片的设定

1、对于生产环境中分片的设定,需要提前做好容量规划

1. 分片数设置过小

a: 导致后续无法增加节点实现水平扩展

b: 单个分片的数量太大,导致数据重新分配耗时

2. 分片数设置过大, 7.0 开始,默认主分片设置成1,解决了over-sharding的问题

a:影响搜索结果的相关性打分,影响统计结果的准确性

b:单个节点上过多的分片,会导致资源浪费,同时也会影响性能

2、查看集群的健康状况

1. Green：主分片与副本都正常分配

2. Yellow：主分片全部正常分配,有副本分片未能正常分配

3. Red：有主分片未能分配

a: 例如:当服务器的磁盘容量超过85%时,去创建了一个新的索引

GET _cluster/health

十、demo

1、查看一个集群的健康状态：http://localhost:9200/_cluster/health

2、CAT API

1. http://localhost:9200/_cat/nodes

2. 查看索引和分片

3、设置分片数

4、Kibana + Cerebro 界面介绍

1. 打开kibana

http://localhost:5601/

2. Console

GET _cluster/health
GET _cat/nodes
GET _cat/shards

GET /_nodes/es7_01,es7_02
GET _cat/nodes?v
GET _cat/nodes?v&h=id,ip,port,v,m

GET _cluster/health
GET _cluster/health?level=shards
GET _cat/shards
GET /_cluster/health/kibana_sample_data_ecommerce

1. 打开Cerebro

http://localhost:9000/

docker stop 容器ID

界面查看