ElasticSearch之节点、集群、分片和副本
分布式系统
高可用:服务的可用性,有部分节点停止服务时,可正常提供工作。数据的可用性,部分节点丢失,不会丢失数据
可扩展:请求量提升/数据不断增长(将数据分布到所有节点上),实现水平扩展
分布式特性
ES分布式架构的好处:
- 存储的水平扩容,提高扩展能力
- 提高系统的可用性,部分节点停止服务,整个集群的服务不受影响
ES的分布式架构:
- 不同的集群通过不同的名字来区分,默认名字为"elasticsearch"
- 通过配置文件修改,或者在命令行中
-E cluster.name=xxx
进行设定 - 一个集群可以有一个或者多个节点
节点
节点是一个ES实例,本质是一个JAVA进程。一台机器可以运行多个ES进程,但是生产环境一般建议一台机器上只运行一个ES实例
每个节点都有名字,通过配置文件配置,或者启动的时候 -E node.name=node1
来指定节点名字
每个节点在启动之后,都会被分配一个UID,保存在data目录下。
Master Node
- 节点启动后,默认就是一个master eligible节点,可以在配置文件中指定当前节点不参与选举,
node.master:false
。 - Master eligible节点可以参加选举,成为master节点
- 当第一个节点启动的时候,它会将自己选举为Master节点
- 每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态信息。集群状态,维护了一个集群中的一些必要信息,比如:
- 所有的节点信息
- 所有的索引和其Mapping、Setting信息
- 分片的路由信息
- 如果任意节点都能修改信息的话,会导致数据的不一致性。
Data Node
可以保存数据的节点叫做data node,负责保存分片的数据。同时数据扩展也是对data node 进行一个扩展
Coordinating Node
负责接收client的请求,将请求分发到合适的节点,最终把结果汇集到一起
每个节点默认都起到了Coordinating Node的职责!
节点的配置
在开发测试环境中,一个节点可以承担多个角色。
在生产环境中,应该设置成单一的角色节点,可以保证更好的性能,也可以针对不同的节点类型来对服务配置特有的硬件配置。
配置如下:
节点类型 | 配置参数 | 默认值 |
---|---|---|
maste eligible | node.master | true |
data | node.data | true |
ingest | node.ingest | true |
coordinating only | 无 | 每个节点默认都是coordinating节点 |
machine learning | node.ml | true(需要enable x-pack) |
分片
主分片,用以解决数据水平扩展的问题,通过主分片,可以将数据分布到集群内的所有节点之上。
- 每个节点都是一个运行的Lucene实例
- 主分片数在创建索引时指定,后续不允许修改,除非重新创建
副本,用于解决数据高可用的问题。当主分片出现问题时,可以保证数据的安全防止丢失。副本分片是主分片的拷贝。
- 副本分片数,可以动态的调整,创建索引后可以对其进行修改
- 增加副本数,可以在一定程度上提高服务的可用性(读取的吞吐)
分片的设定
对于生产环境中的分片设定,需要提前做好容量规划。
- 分片数设置过小,会导致后续无法增加节点,实现水平扩展。单个分片的数据量太大,会导致数据重新分配的耗时
- 分片设置过大,会影响搜索结果的相关性打分,影响统计结果的准确性。单个节点上过多的分片,会浪费资源,同时也会影响性能
查看集群的健康状况:get _cluster/health
{
"cluster_name" : "elasticsearch",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 1,
"number_of_data_nodes" : 1,
"active_primary_shards" : 13,
"active_shards" : 13,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}
- Green :主分片与副本分片都正常分配
- Yellow:主分片全部正常分配,有副本分片未能正常分配
- Red:有主分片未能分配。
API
get _cluster/health //查看集群状态
get _cat/nodes // 查看节点信息
get _cat/shards // 查看分片信息