Elasticsearch集群索引分片未分配unassigned导致集群状态红色red异常若干问题解决记录

最新推荐文章于 2024-09-27 11:08:05 发布
最新推荐文章于 2024-09-27 11:08:05 发布
阅读量5.9k 收藏 15
点赞数 1
分类专栏： ELK 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dc666/article/details/121356214
版权

一.背景

今天收到告警短信发现某个业务系统几台服务器的日志收集服务filebeat均已下线，把Filebeat都重启之后，准备到Kibana查阅业务系统的日志，检索异常条目，发现从凌晨开始的日志条目都没有，今天的索引也没有建成，查看集群监控，发现Elasticsearch集群状态为red，也无法继续使用和写入数据，于是开始着手排查故障。

二.系统环境：

所使用集群架构组件及版本信息如下：

操作系统OS版本：CentOS release 7.9.2009 (Core) 

名称  版本号
filebeat7.10.0
kafka2.4.1
zookeeper3.5.7
logstash7.5.2
elasticsearch7.5.2
kibana7.5.2

三.故障处理流程

1.首先在Kibana的控制台Dev Tools上使用

GET _cat/shards?v&s=state,prirep

查看索引的分片shard状态

发现主（state中标记为p，primary缩写）副分片（state中标记为r，replica缩写）都处于UNASSIGNED未分配的状态，所以Kibana上无法读取对应名为idr-attendance_2021.11.17以及.monitor-es-7-2021.11.16的索引上的数据

2.继续使用explain接口查看具体原因

GET /_cluster/allocation/explain
{
  "index": "idr-attendance_2021.11.17",
  "shard": 0,
  "primary": true
}

把步骤1中提到的当天出现分片分配异常索引idr-attendance_2021.11.17，和具体的分片编号0，填入到上面的参数中，由于主分片和副本都有异常，首先把primary置为true，用来查询主分片异常原因，之后置为false，用来查询副本分片异常原因，调接口查询结果如下图所示 

上图提示在Elasticsearch集群节点Elasticsearch02出现了分片分配异常的情况，节点Elasticsearch02是由于translog损坏corrupt导致的无法恢复（上图异常信息没截全），损坏原因怀疑是Filebeat服务的不正常停止导致数据流传输过程中异常中断。导致该0号分片无法分配UNASSIGNED。并且此时调用以下接口查看集群状态：

GET _cat/health?v

发现集群状态为red，无法正常使用

3.由于分片的事务日志translog出现了failed to recover from translog的问题，表示分片的事务日志已经遭到损坏，无法继续写入分片，所以需要清理已损坏的事务日志。针对三个Elasticsearch节点的集群，由于整个Elasticsearch集群已无法写入且运行清理工具需要暂停，同时避免出现脑裂等数据异常问题，所以首先停止Elasticsearch集群的所有节点

systemctl stop elasticsearch

没有部署成系统服务也可以通过kill进程的方式停止Elasticsearch服务

4.接着查询该问题索引的索引ID，即uuid，以此定位到问题节点Elasticsearch02的事务日志所在目录

GET _cat/indices/idr-attendance_2021.11.17?v

 如上图查询结果所示，查询到的idr-attendance_2021.11.17的uuid为B7svQGUgQSm0hyVWUnGAdg

5.登录到节点Elasticsearch02所在服务器，切换成启动Elasticsearch服务用户的身份，去执行清除事务日志translog的操作，否则之后重新生成的文件会出现权限不匹配导致无法写入的问题，操作步骤如下图所示

su - elk

cd /data/ELK/elasticsearch_data/data/nodes/0/indices/B7svQGUgQSm0hyVWUnGAdg/0/translog/

/data/elasticsearch/bin/elasticsearch-shard remove-corrupted-data --index idr-attendance_2021.11.17 --shard-id 0

回车后会对输入的索引和分片的事务日志tranlogs进行检索，并找出已损坏的事务日志，且由于事务日志已损坏，只能放弃部分未写入的数据换取Elasticsearch集群的正常启动，所以输入"y"确认执行清除损坏事务日志的操作，如下图

执行结果如下图所示

 6.重启Elasticsearch集群或已暂停的节点，回到kibana的Dev Tools开发者工具页面上，更改出现异常的索引idr-attendance_2021.11.17的参数"accept_data_loss"为"true"，重新启用该索引，此次操作由POST请求实现

POST  /_cluster/reroute

{

   "commands" : [

      {

          "allocate_stale_primary" : {

              "index" :"idr-attendance_2021.11.17",

              "shard" : 0,

              "node" : "rhjG2W_pStq_8zzbcwZvdA",

              "accept_data_loss" : true

           }

      }

   ]

}

返回acknowledged:true表示索引参数调整成功，如下图

 可以看到该索引分片的主分片(primary为true的一栏，表示为主分片身份)处于初始化"INITIALIZING"状态中，如下图

 而副分片(primary为false的一栏，表示为主分片身份)需等待主分片初始化完毕后，才能开始初始化，所以状态state表示为"UNASSIGNED"，如下图

 

 之后等待索引各分片恢复为"STARTED"即可，如下图

 7.最后查询Elasticsearch集群健康状态，恢复正常green，如下图

GET _cat/health?v

四.后记

1.后续又出现了索引分片未分配UNASSIGNED的错误，老方法，查询并分析后得到如下图的报错

由于Elasticsearch配置文件elasitcsearch.yml中参数cluster.routing.allocation.allow.rebalance的默认值为"indices_all_active"，即所有索引都恢复正常使用的状态后才能触发数据平衡，且当前有索引存在未分配UNASSIGNED分片的情况，导致整个Elasticsearch集群无法正常使用

2.网上方案是把出现问题的索引的副本数replica改为0，即针对该问题索引不进行索引数据冗余容灾，则避免出现Elasticsearch集群不停地等待该索引副本数据复制正常后而导致的不可用问题，在线更改索引副本数的命令如下图

curl -H 'Content-Type: application/json' -u elastic:'elastic用户密码' -XPUT http://192.168.193.155:9200/ems-nginx_2021.11.11/_settings -d '{"number_of_replicas": 0 }'

返回的结果为

{"acknowledged": true}

表示成功

之后使用

curl -XGET -u elastic:'elastic用户密码' http://192.168.193.154:9200/ems-nginx_2021.11.11/_settings

查询到该索引分片已调整为1个，符合上述副本分片数置0的调整，如下图

 3.本以为把索引分片调整为只保留1个即可恢复的时候，发现Elasticsearch日志又出现了新的报错，如下图

查找资料后发现是当前Elasticsearch集群的索引分片数达到了最大写入上限，需对集群分片上限数进行扩容，使用如下请求

curl -XPUT -H "Content-Type:application/json" -u elastic:'elastic用户密码' -d '{"persistent":{"cluster":{"max_shards_per_node":10000}}}' 'http://192.168.193.154:9200/_cluster/settings'

即可把集群索引分片上限提升到10000，然后分片数据即可正常写入

5.在故障处理过程中，可视化界面Kibana会由于Elasticsearch集群失效而无法访问，这时候在开发工具Dev Tools里执行的操作只能直接通过Elasticsearch的9200接口进行操作，详见上文中curl发起PUT请求过程，接口具体用法此处不再赘述。

6.后续经对Elasticsearch日志进行分析，发现有一处磁盘写满的报错，如下图

 于是确认系统磁盘空间，确认Elasticsearch的数据目录/data/ELK，发现当前还有1.5T的空间剩余

 于是和系统硬件管理人员确认，发现是磁盘挂载出现了问题，三个服务器节点磁盘总大小是3T，单个节点上限不超过2.5T，意思是此消彼长，并且发现三个节点的磁盘使用量都达到了1.1T，超过了实际磁盘总大小，所以会出现磁盘空间不足的错误信息。之后对磁盘进行扩容之后，重启Elasticsearch集群所有节点，索引分片数据开始正常重建，等待一段处理时间后，恢复正常使用。

大往生指导员
关注
专栏目录
解决 Elasticsearch 集群健康状态为红色以及未分配的分片问题
AlianBlank的博客
08-21 302
在本文中，我们讨论了 Elasticsearch 集群健康状态为红色并存在未分配的分片的问题。首先，我们通过检查集群的健康状态和未分配的分片来了解问题的具体情况。通过以上步骤，你可以解决 Elasticsearch 集群健康状态为红色以及未分配的分片问题，确保集群的正常运行。你可以通过解析该响应来获取未分配的分片的详细信息，包括分片的索引、分片号以及未分配的原因。首先，我们需要检查未分配的分片，以了解具体的问题。在 Elasticsearch 中，集群的健康状态是根据各个分片的状态来计算得出的。
【Elasticsearch】es 集群健康值 红色 red 分片 未分配
九师兄
06-25 6072
1.概述 转载：https://zhuanlan.zhihu.com/p/101608973 转载这篇文章是因为根据我的文章 【Elasticsearch】elasticsearch 7.x 查看分片未分配 (UNASSIGNED) 的原因 【Elasticsearch】Elasticsearch 集群健康值红色 解决方案 或者 分片 未分配 讲解了大部分分片未分配的原因，但是一步一步的排查，深入的排查，这篇文章可以弥补。 前言 可能你经历过这些Red. 。。。等等 那ES的Red是神么意思？ 这里说的r
elasticsearch分片报错Unassigned
2401_84411072的博客
04-28 364
此时他会自动分配到其他节点，如果一直没有分配到其他节点，那就是其他节点有错误信息，没同步成功，我这里就一直没成功，发现是应为ik分词器报错，所以在子节点安装了ik分词器以后重启节点即可。成功的截图（我后来又将副分片设置成一就好了，设置成2仍然会出现3个未分配分片，应该和节点数量有关。它和其它框架（jquery）的区别是什么？描述下 vue 从初始化页面–修改数据–刷新页面 UI 的过程？Vue 的 nextTick 的原理是什么？组件中写 name 选项有什么作用？Vue 中 key 值的作用？
Elasticsearch UNASSIGNED 怎么修复
最新发布
青春不流名
09-27 481
集群健康值为 "yellow" 通常表示集群的主节点正常工作，但有一些副本分片没有分配。具体来说，"357 of 360" 表示总共有 360 个分片，其中 357 个处于正常状态，3 个副本分片未分配。
Elasticsearch 集群分片出现 unassigned 其中一种原因详细还原
qq_32020645的博客
11-02 2041
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。最近公司ES集群一些节点挂掉，致使一些索引的分片一直是unassigned状态，导致ES集群状态为RED，等待许久也不见好转，非常影响集群UI观感。想想什么原因，解决解决。先复原一波 ES集群中出现 分片 unassigned 的现象。如上图所示，0号主分片和0号副本分片所在的节点分别为es3、es5、es6节点，将对应这些节点上的es进程进行kill略微一等，发现test索引的2号分片会自动在es集群中自动均衡分布。
锦囊妙计解决elasticsearch集群为red状态
Angus
04-19 2700
如何是自己搭建的elasticsearch集群，其实是比较容易发生丢失分片的情况的。 1. 如果集群丢失了主分片 则直接呈现红色的健康状态 严重的会影响到对集群的写入，因为如果主分片丢了，但是集群的master节点会记着，有这个分片存在。所以写数据的时候，会报错。 2.如果是丢失副本分片， 则集群会呈现黄色的健康状态 不影响写入和查询操作。 究竟都有哪些原因导致集群丢失分片呢 针对我使用一年elasticsearch的经验，遇到过的错误，进行总结。我的elasticsearch是九...
干货 | Elasticsearch 集群健康值红色终极解决方案
热门推荐
铭毅天下Elasticsearch
11-04 4万+
题记 Elasticsearch当清理缓存（ echo 3 > /proc/sys/vm/drop_caches ）的时候，出现 如下集群健康值：red，红色预警状态，同时部分分片都成为灰色。 查看Elasticsearch启动日志会发现如下： 集群服务超时连接的情况。 bserver: timeout notification from cluster service. ...
lasticsearch 集群indices 分片状态UNASSIGNED
无锋剑
01-15 193
lasticsearch 集群indices 分片状态UNASSIGNED ，集群状态为： yellow 故障现象 GET /_cat/shards/7a_cool 7a_cool 5 r STARTED 4583018 759.4mb 10.2.4.21 pt01-pte-10-2-4-21 7a_cool 17 r UNASSIGNED 1...
es集群节点数和分片数关系_elasticsearch5.x集群HA原理(shards、replicas)
weixin_28896255的博客
12-23 1739
最近在搭建es5.2的高可用集群，在这个过程中加深了对es的原理理解，基本分为四个阶段es单机—>es集群(多台机器)—>es分片和副本集分布原理—>es高可用集群1.es单机在第一个阶段基本概念的掌握还是比较熟练的，对应着关系型数据库(mysql)来理解es：文档(document)文档(document)是ElasticSearch中的存储形式。对所有使用ElasticSea...
es集群节点数和分片数关系_elasticsearch 集群启动流程
weixin_30446393的博客
12-23 551
es 的集群启动过程要经历选举主节点、主分片、数据恢复等重要阶段，理解其中原理和细节，对于解决或避免集群维护过程中可能遇到的脑裂，无主，恢复慢，丢数据等问题有重要作用。本文基于es 5.5.3版本，以通俗的语言描述流程中的原理和机制。基于版本：5.5.3相对于节点启动流程，我们通常更关注集群启动流程，这次不研究细节，说说原理和机制。集群启动整体流程：选举主节点选主是对Bully算法的改进，主要思路...
Elasticsearch的UNASSIGNED未分配解决方案
lengyer的博客
11-18 2190
1.查看问题和原因 方法一： Linux上 curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grep UNASSIGNED 方法二： Elasticsearch Head上 常见集群返回的原因： 1）INDEX_CREATED：由于创建索引的API导致未分配。 2）CLUSTER_RECOVERED：由于完全集群恢复导致未分配。 3）INDEX_REOPENED..
elasticsearch unassigned
Jia__xin的博客
11-17 1294
elasticsearch unassigned1、查看目前有哪些es节点分片有问题2、重新分配副本 1、查看目前有哪些es节点分片有问题 curl -s "http://localhost:9200/_cat/shards" | grep UNASSIGNED 2、重新分配副本 curl -XPUT -H "Content-Type:application/json" "localhost:9200/index-2021-11-16/_settings" -d '{"number_of_rep
Elasticsearch：分片无法分配问题
weixin_51847688的博客
03-15 656
问题分析：从节点上的磁盘使用情况来看，节点的磁盘空间利用率超过了集群设置的低水位标记（cluster.routing.allocation.disk.watermark.low=85%），实际可用空间只有 14.18%state为unassigned代表未分配的分片。这里我选择更改es设置，更改每个节点的配置文件。1、es中创建索引时，需要说明分片和副本数。这里集群状态为黄色，说明分片出了问题。2、创建后，可以查看集群状态。1、寻找到无法分配的索引分片。2、查询分片未分配的理由。
Elasticsearch集群健康值为Red
月下犀牛
05-12 1200
Elasticsearch集群创建索引的时候，返回{“acknowledged”=>true, “shards_acknowledged”=>false}错误。集群健康值为Red。 原因是磁盘空间不够了，输入df -h命令可以看到文件系统已用超过了85%。 找到原因错误就好解决了，办法就是扩容，即虚拟机系统磁盘扩容。由于每个人的虚拟机装的不一样这里就不贴出了。 ...
5.ELK之ElasticSearch集群状态(shard unassigned排查)
mijichui2153的博客
06-20 6793
elastic状态及shard unassigned排查
谁再问elasticsearch集群Red怎么办？把这篇笔记给他
独行侠梦的博客
01-08 2214
前言 可能你经历过这些Red. 。。。等等 那ES的Red是神么意思？ 这里说的red,是指es集群的状态，一共有三种，green、red、yellow。具体含义： 冷静分析 从上图可知，集群red是由于有主分片不可用，这种情况一般是由于节点宕机。 有什么影响呢？ 至少一个主分片（以及它的全部副本）都在缺失中。这意味着你在缺少数据：搜索只能返回部分数据，而分配到这个分片上的写入请求会返回一个...
elasticsearch 集群分片分配，你需要知道的一些知识点
独行侠梦的博客
12-25 2664
前言 前面我们学习过，master节点的职责有： 负责决定当前某个分片要分配到哪个节点上面。 在节点间移动分片，保证集群的平衡。等等。 分片分配-基于集群配置 分片分配是指将分片分配到某个主机节点上的一个过程。触发的场景有： 初始化恢复 分片副本分配 集群平衡 集群节点加入或者移除 分片的分配，对整个es集群有重要的影响，所以，如何熟悉控制它，是一个很重要的知识点。es集群提供设置...
Elasticsearch unassigned shards解决方法
PySean的博客
05-17 1526
增加节点容量：未分配的碎片可能是由于节点容量不足导致的。可以通过增加节点的容量来解决这个问题，或者添加更多的节点到集群中。在添加节点之前，请确保你的硬件和网络资源足够支持。执行索引优化：如果集群中的某个索引过于分散或者碎片过多，可能会导致未分配的碎片。可以尝试优化索引以减少碎片的数量，从而减少未分配的碎片。修复故障节点：如果未分配的碎片是由于某个节点出现故障导致的，可以尝试修复该节点或将其替换为新的节点。
Elasticsearch集群搭建详细流程与常见问题解决
ES集群搭建详细说明 ES集群搭建是指在多台服务器上安装和配置Elasticsearch（简称ES）以实现分布式搜索和数据分析...同时，需要解决可能遇到的问题，例如JDK版本不兼容、elasticsearch无法启动和节点无法加入集群等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值