集群主机(节点)配置相近
集群中主机最好配置相近,集群的性能符合木桶定律,即集群的查询性能是由集群中性能最差的主机决定的。
建议使用SSD硬盘替换传统的机械硬盘
ES对IO的性能要求比较高。
ES内存配置不要超过32G
指定的堆内存可以是节点总内存的一半。
https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html#compressed_oops
ES_HEAP_SIZE
集群名称和节点名称必须要配置
ES根据集群的名称组成一个集群,在生产中可以指定一个具有实际意义的集群名称。
节点名称一般指定主机名,便于管理和监控,出现故障也易于定位。
使用独占的主节点和数据节点。(主要避免脑裂或负载过高)
一个集群里面出现了两个或以上的master节点,就称为脑裂。
发生脑裂的原因主要由两个:网络质量不好或master节点负载过高。
因此,在前面的优化中,使用独占的主节点和数据节点可以避免负载过高。
缓解脑裂还可以设置一个参数: discovery.zen.minimum_master_node。
这个参数决定了至少有多少个存活的节点,才选举产生新的master节点。
discovery.zen.minimum_master_node: (master_eligible_nodes / 2) + 1
换句话说,如果有三个主节点,那么最小主节点应该设置为(3/2)+ 1或2
discovery.zen.minimum_master_nodes:2
如果集群网络环境不太好, 建议将网络故障的超时时间设置的长一点。
为了保证网络,可以将es和hadoop或spark存在于同一个机架。
discovery.zen.ping_timeout(默认3秒)
设置集群中自动发
ElasticSearch生产集群配置优化
最新推荐文章于 2025-07-07 14:03:18 发布
本文介绍了ElasticSearch生产集群的配置优化方法,包括选择相近配置的主机、使用SSD硬盘、合理设置内存和堆大小、配置集群名称和节点名称、避免脑裂问题、调整网络超时时间、优化数据导入过程、关闭不必要的索引以及Spark整合ElasticSearch的优化策略,旨在提升查询性能和数据处理效率。

最低0.47元/天 解锁文章
1700

被折叠的 条评论
为什么被折叠?



