ES分片重新路由解决分片不平衡问题

最新推荐文章于 2024-06-28 15:44:09 发布
最新推荐文章于 2024-06-28 15:44:09 发布
阅读量3k 收藏 1
点赞数
文章标签： 大数据 awk python
原文链接：https://my.oschina.net/u/565351/blog/3009218
版权
博客讲述了发现ES集群分片分布不均和硬盘使用不平衡的问题，通过查阅官方文档，决定使用脚本批量进行分片重新路由。采用shell和awk脚本相结合的方式查找并移动重复分片，以实现集群的平衡。目前脚本仍在执行中，待处理结果更新。
摘要由CSDN通过智能技术生成

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1、发现问题

b9b3635cd8c425ba7e652acefea69962ec7.jpg

根据kinbana的monitor发现ES集群的索引分片分布不均匀，硬盘使用也不平衡。

很奇怪分片少的硬盘空间还用得多，而分片多的硬盘反而用得少，还没搞清楚原因，ES会自己平衡集群分片，由于某个节点分片少，会不停的往这个节点建分片，导致硬盘空间差距越来越大，这个问题影响到了存储，必须要解决。

2、查找解决方案

https://www.elastic.co/guide/en/elasticsearch/reference/6.3/cluster-reroute.html

根据官方文档可以重新路由，移动分片以达到分片平衡，但由于手动执行命令太慢太累了，于是决定写个脚本，

3、最

最低0.47元/天 解锁文章
weixin_33941350
关注
es分片迁移_ES分片重新路由解决分片不平衡问题
weixin_31207855的博客
02-15 1043
1、发现问题 根据kinbana的monitor发现ES集群的索引分片分布不均匀，硬盘使用也不平衡。很奇怪分片少的硬盘空间还用得多，而分片多的硬盘反而用得少，还没搞清楚原因，ES会自己平衡集群分片，由于某个节点分片少，会不停的往这个节点建分片，导致硬盘空间差距越来越大，这个问题影响到了存储，必须要解决。2、查找解决方案https://www.elastic.co/guide/en/elastics...
Elasticsearch分片分配不均匀问题记录
这个人很懒。
02-28 2165
ES索引分配不均匀 1、查看机器上那快磁盘满了，业务磁盘分布规律 目录 对应节点 /HDATA/1-/HDATA/3 ES-1 /HDATA/4-/HDATA/6 ES-2 /HDATA/7-/HDATA/9 ES-3 /HDATA/10-/HDATA/12 ES-4 2、找到对接进程端口号，规律如下： 节点 端口 ES-1 9300 ES-2 9301 ES-3 9302 ES-4 9303 3、查看分片 curl -s http://10.
Elasticsearch分片平衡
最新发布
jiayu的博客
06-28 902
如果节点填满其磁盘的速度比 Elasticsearch 将分片移动到其他地方的速度快，则存在磁盘完全填满的风险。重要的是，如果您的所有节点都超过了低水位，那么就不能分配新的分片，Elasticsearch将无法在节点之间移动任何分片，以保持磁盘使用率低于高水位。再平衡是根据每个节点分配的分片计算其权重，然后在节点之间移动分片，以减少较重节点的权重，增加较轻节点的权重。当不存在可能的分片移动时，集群是平衡的，分片移动可以使任何节点的权重比任何其他节点的权重更接近一个可配置的阈值。
es 分片大小不均问题
iris_csdn的博客
06-17 1980
很多认为Elasticsearch(以下简称ES)，同一个分片的主分片和副本分片文档数量肯定是样的，数据大小也是一样的。 这个其实值说对了一半，文档数量是一阳台的没错，但是数据大小不一定一样。 产生这种现象的原因在于，主分片和副本分片的segment数量可能不一样。 ...
es集群节点之间分片个数不均匀问题
qqqq0199181的博客
10-17 3606
场景介绍 3个节点的es 集群，node1,node2,node3。node3由于故障，重启了节点。重启后node3上的一个副部分片由于某种原因没有恢复上线，集群的健康之是yellow。此时用es 的/_cat/allocation 命令查看发现，node3上的分片个数远少于其他两个节点。 问题分析 node3节点故障下线的时候，原本分布在node3上的分片会逐步迁移到node1,node2上。n...
Elasticsearch基础篇(七)：分片大小修改和路由分配规则
后端开发
01-12 3956
这样设计可以提高系统的可用性和容错性，因为数据的多个副本分布在不同的节点上，即使某个节点发生故障，系统仍然可以继续工作。副本分片是主分片的完整复制，位于不同的节点上。主分片的数量是索引创建时固定的，因为这个值与数据的分布和索引结构有关。每个索引都被划分成若干个主分片，每个主分片都是一个独立的索引。往索引中增加100条数据，文档分布如下：三个主分片的文档数量正好为100，随着文档数量的增加，三个主分片的数量会越来越均衡。在完成重新索引后，将应用中的写操作切换到新的索引，确保新数据写入新的索引。
elasticsearch分片分配和路由配置
w1346561235的博客
09-29 2666
本文基于es7.3版本。 集群级别的分片分配配置，主要有下面几个： cluster.routing.allocation.enable：启用或禁止特定种类分片的分配。有下面四种取值： all- (default) Allows shard allocation for all kinds of shards.允许所有种类分片的分配，包括primary和replica。默认行为。 prima...
es分片多少合理_【ES】ElasticSearch 深入分片
weixin_33678821的博客
01-17 3263
@[toc]一、分片介绍分片是 Elasticsearch 在集群中分发数据的关键。把分片想象成数据的容器。文档存储在分片中，然后分片分配到集群中的节点上。当集群扩容或缩小，Elasticsearch 将会自动在节点间迁移分片，以使集群保持平衡。一个分片(shard)是一个最小级别“工作单元(worker unit)”，它只是保存了索引中所有数据的一部分。这类似于 MySql 的分库分表，只不过...
ElasticSearch分片不均匀，集群负载不均衡
热门推荐
scalad
06-02 3万+
ElasticSearch负载不均衡某天晚上，服务器告警，发现服务器接口出现很多400，初步定为是ES服务器CPU达到了98%以上，ES日志出现了很多错误日志，具体如下：参考https://blog.csdn.net/wwd0501/article/details/78399943也就是Elasticsearch在并发查询量大的情况下，访问流量超过了集群中单个Elasticsearch实例的处理能...
es动态分配分片_ES磁盘分配不均问题
weixin_39634237的博客
12-21 1130
近es集群磁盘空间告警，日志又没地方可以迁移，然后申请了新的服务器，一次性加入8台新的服务器新增了32个新的数据节点，至此，我们的主集群已经到达85个数据节点的规模，整个集群数据已达到PB级别，终于可以跟别人炫耀我是做大数据的了。O(∩_∩)O哈哈~但是随着集群节点的不断壮大，问题也随之而来，刚开始加入新节点后，发现所有数据分片都会在新节点上，但是过几天后，发现只有少部分在新节点上。然后，发现新的...
elasticsearch——ES集群分片不平衡处理
web18224617243的博客
04-01 2510
在使用云上的一个ES集群的时候，发现搜索性能很差，查看分片情况，发现ES有12个节点，索引创建了10个分片，1个副本，最后20个分片全在其中3个节点上，分布不均衡，实际只消耗了3个节点的资源，所以性能很差，再次创建新的索引，发现仍然是这种情况，最后通过下面的命令查到集群reblance属性是none GET _cluster/settings 参考：https://www.jianshu.com/p/a81ca31bb316 使用下面的命令恢复平衡 PUT_cluster/settings { "per
ES集群宕机后处理——重新分配shards，负载均衡
攻城狮Kevin
10-10 4051
ES集群5台机器，由于同时读写导致其中一台机器宕机， 原本每天的索引shard数设定为10，这样5台机器每台分配2个shard， 但是一旦集群宕机，重启集群后，5号机器宕机导致它上面的shard会转移到其他1-4号机器上。 如果此时往ES里写数据，新索引的10个shard就都会分配到5号机器（因为它上面一个shard都没有，ES集群会优先往资源丰富的机器分配shard），如果此时写入数据，请...
ES磁盘分配不均问题
weixin_30722589的博客
03-05 693
近es集群磁盘空间告警，日志又没地方可以迁移，然后申请了新的服务器，一次性加入8台新的服务器 新增了32个新的数据节点，至此，我们的主集群已经到达85个数据节点的规模，整个集群数据已达到PB级别，终于可以跟别人炫耀我是做大数据的了。O(∩_∩)O哈哈~ 但是随着集群节点的不断壮大，问题也随之而来，刚开始加入新节点后，发现所有数据分片都会在新节点上，但是过几天后，发现只有少部分在新节点上。...
Elasticsearch 磁盘使用情况
我只是个小学生 能力有限 一直抱着学习的态度
11-13 1897
curl -XGET “http://localhost:9200/_cat/shards?v” curl -XGET localhost:9200/_cat/allocation?v
ElasticSearch 设置-配置（二）集群级分片分配和路由设置
李玉志的博客
08-16 1867
文章目录配置ElasticSearch集群级分片分配和路由设置集群级分片分配设置分片重新平衡设置分片平衡启发式设置基于磁盘的分片分配设置 配置ElasticSearch 集群级分片分配和路由设置 分片分配是将分片分配给节点的过程。这可能发生在初始恢复、副本分配、重新平衡或添加或删除节点时。 master 的主要作用之一是决定将哪些分片分配给哪些节点，以及何时在节点之间移动分片以重新平衡集群。 有许多设置可用于控制分片分配过程： Cluster-level shard allocation settings
es动态分配分片_解决ES索引分片均衡问题
weixin_39542093的博客
12-21 2107
运行了两年的ES集群，今天索引节点突然不均衡，新建索引分片都集中到一个节点上了，如下图：同时还有部分节点分片在恢复，如上图，有432个待恢复分片，而且只有两个分片在同时恢复，网络吞吐也很小，这要等到猴年马月：首先调整索引分布,在集群元数据比较大情况下，修改settings可能会超过30s，需要在后面指定master_timeout："index.routing.allocation.include...
Elasticsearch 之 慘痛部署(分片移位)
weixin_33806300的博客
07-11 68
部署说明 硬件 server两台： 机器A：64G内存 机器B：32G内存 分片 共12个节点 2个查询节点。10个存储节点 8个主分片 1个复制分片（每一个分片都有一个副本分布在不同的节点上面） 每台机器都挂了6个机械盘每一个盘都是不同的分区。 部署环境用docker weave 来做 elasticsearch cluster 能够參考我的另...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值