ElasticSearch之节点、集群、分片和副本

分布式系统

高可用：服务的可用性，有部分节点停止服务时，可正常提供工作。数据的可用性，部分节点丢失，不会丢失数据
可扩展：请求量提升/数据不断增长（将数据分布到所有节点上），实现水平扩展

分布式特性

ES分布式架构的好处：

1. 存储的水平扩容，提高扩展能力
2. 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响

ES的分布式架构：

1. 不同的集群通过不同的名字来区分，默认名字为"elasticsearch"
2. 通过配置文件修改，或者在命令行中-E cluster.name=xxx进行设定
3. 一个集群可以有一个或者多个节点

节点

节点是一个ES实例，本质是一个JAVA进程。一台机器可以运行多个ES进程，但是生产环境一般建议一台机器上只运行一个ES实例

每个节点都有名字，通过配置文件配置，或者启动的时候 -E node.name=node1来指定节点名字

每个节点在启动之后，都会被分配一个UID，保存在data目录下。

Master Node

• 节点启动后，默认就是一个master eligible节点，可以在配置文件中指定当前节点不参与选举，node.master:false。
• Master eligible节点可以参加选举，成为master节点
• 当第一个节点启动的时候，它会将自己选举为Master节点
• 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息。集群状态，维护了一个集群中的一些必要信息，比如：
  1. 所有的节点信息
  2. 所有的索引和其Mapping、Setting信息
  3. 分片的路由信息
• 如果任意节点都能修改信息的话，会导致数据的不一致性。

Data Node

可以保存数据的节点叫做data node，负责保存分片的数据。同时数据扩展也是对data node 进行一个扩展

Coordinating Node

负责接收client的请求，将请求分发到合适的节点，最终把结果汇集到一起
每个节点默认都起到了Coordinating Node的职责！

节点的配置

在开发测试环境中，一个节点可以承担多个角色。

在生产环境中，应该设置成单一的角色节点，可以保证更好的性能，也可以针对不同的节点类型来对服务配置特有的硬件配置。

配置如下：

节点类型	配置参数	默认值
maste eligible	node.master	true
data	node.data	true
ingest	node.ingest	true
coordinating only	无	每个节点默认都是coordinating节点
machine learning	node.ml	true(需要enable x-pack)

分片

主分片，用以解决数据水平扩展的问题，通过主分片，可以将数据分布到集群内的所有节点之上。

• 每个节点都是一个运行的Lucene实例
• 主分片数在创建索引时指定，后续不允许修改，除非重新创建

副本，用于解决数据高可用的问题。当主分片出现问题时，可以保证数据的安全防止丢失。副本分片是主分片的拷贝。

• 副本分片数，可以动态的调整，创建索引后可以对其进行修改
• 增加副本数，可以在一定程度上提高服务的可用性（读取的吞吐）

分片的设定

对于生产环境中的分片设定，需要提前做好容量规划。

• 分片数设置过小，会导致后续无法增加节点，实现水平扩展。单个分片的数据量太大，会导致数据重新分配的耗时
• 分片设置过大，会影响搜索结果的相关性打分，影响统计结果的准确性。单个节点上过多的分片，会浪费资源，同时也会影响性能

查看集群的健康状况：get _cluster/health

{
  "cluster_name" : "elasticsearch",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 13,
  "active_shards" : 13,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

• Green ：主分片与副本分片都正常分配
• Yellow：主分片全部正常分配，有副本分片未能正常分配
• Red：有主分片未能分配。

API

get _cluster/health //查看集群状态
get _cat/nodes // 查看节点信息
get _cat/shards // 查看分片信息