Elasticsearch 磁盘空间异常排查过程

最新推荐文章于 2024-08-14 10:31:31 发布
最新推荐文章于 2024-08-14 10:31:31 发布
阅读量1.1k 收藏
点赞数 44
分类专栏： 百亿级elasticsearch实践指南 文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yonggeit/article/details/141057598
版权

故障现象 

近日有客户找到我们，说有个 ES 集群节点，磁盘利用率达到了 82% ，而其节点才 63% ，想处理下这个节点，降低节点的磁盘利用率。

起初以为是没有打开自动平衡导致的，经查询，数据还是比较平衡的。

利用率较高的是 76 节点，如果 76 节点的分片比其他节点多，好像还比较合乎逻辑，但它反而比其他节点少了 12-15 个分片。那是 76 节点上的分片比较大？

索引情况 #

图中都是较大的索引

了解本专栏 订阅专栏 解锁全文 超级会员免费看
少林码僧
关注
专栏目录
订阅专栏
ElasticSearch频繁red异常排查
02-25 1441
ALLOCATION_FAILED
Elasticsearch磁盘空间爆满及 java_pid*.hprof 处理
一个标题
02-28 3434
Elasticsearch磁盘空间爆满及 java_pid*.hprof 处理
Elasticsearch节点磁盘空间耗尽
Jeffrey Zhou 的专栏
03-23 1万+
最近遇到了一个特殊的情况，我们所使用的一个Elasticsearch集群的数据节点磁盘空间耗尽，啥事会发生呢？ 当然你的RED。下面是相关的日志信息，其中ES-Data_11是当时的Master节点，ES-Data_12是出现的磁盘耗尽的数据节点，出事儿的index名字为raw_v3.2017_03_22。 [2017-03-22 11:57:30,503][WARN ][index
ElasticSearch-磁盘空间不够引起的问题
mnasd的博客
01-25 3034
es 6.2.4版本 logstash跑了一阵子之后不再同步数据了,日志信息如下： [2019-06-19T10:30:28,379][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only /
ElasticSearch 因为磁盘空间不够引起的数据插入错误
Guizy
06-02 2479
错误描述: ElasticSearch 因为磁盘空间不够引起的数据插入错误。（message [ClusterBlockException[blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];]]） 当使用Logstash将MySQL中的数据采用到ES索引中: 出现以下问题, 昨天还可以正常采集mysql数据库中的信息, 今天报了错,解决方案如下: 问题原因: 索引变成了只读 index read-only / allow del
ElasticSearch实例磁盘占用率高 排查及解决方案
sinat_36258805的博客
10-25 903
使用命令：curl -X PUT http://{ip}:9200/{index}/_settings --header ‘Content-Type: application/json’ -d ‘{“index”:{“number_of_replicas”:0}}’
【ElasticSearch】6.7.1版本磁盘满了无法写入数据
gong_yangyang的博客
12-15 546
由于服务器磁盘达到95%，导致索引不可写；
【Elasticsearch】ES查询慢问题排查思路 profile 参数
九师兄
02-23 8324
1.概述 转载：添加链接描述 2.场景 场景1 内存参数配置不合理，文件系统缓存不足。 场景2 查询范围过大，一次查询过多的分片，如全表扫描查询。 场景3 进行深度翻页查询，如查询10000之后的结果。 场景4 查询返回的结果集过大，如10w。 场景5 查询语句不是最优，如过滤查询可以使用filter。 场景6 使用模糊匹配查询造成内存溢出的问题。 场景7 聚合查询返回的结果集过大，聚合的范围过大。 场景8 聚合查询多唯一值引起的高内存使用率。 场景9 用text字段进行排序，造成fiel
【高级篇】第9章 Elasticsearch 监控与故障排查
David的博客
07-02 1149
除了预置仪表板，用户还可以根据特定需求创建自定义视图和仪表板，通过Elasticsearch索引中的监控数据，设计个性化的监控界面，聚焦于特定的性能指标或问题区域。
Elasticsearch head插件
09-02
**Elasticsearch Head 插件详解** Elasticsearch Head 是一个非常实用的开源插件，专为 Elasticsearch 设计，提供了一个直观的用户界面，让用户能够方便地管理和监控 Elasticsearch 集群。它以其轻量级、易安装和即...
清理Elasticsearch占用的内存和磁盘空间
laolitou_1024的博客
03-22 2776
ELK中的Kibana连不上Elasticsearch了，提示Cannot connect to the Elasticsearch cluster，检查发现OutOfMemoryError，通过删除历史索引，达到清理Elasticsearch占用的内存和磁盘空间的目的
ElasticSearch分片不均匀，集群负载不均衡
热门推荐
scalad
06-02 3万+
ElasticSearch负载不均衡某天晚上，服务器告警，发现服务器接口出现很多400，初步定为是ES服务器CPU达到了98%以上，ES日志出现了很多错误日志，具体如下：参考https://blog.csdn.net/wwd0501/article/details/78399943也就是Elasticsearch在并发查询量大的情况下，访问流量超过了集群中单个Elasticsearch实例的处理能...
elasticSearch7.9数据占用磁盘存储空间情况
晓缔的专栏
10-09 610
es数据占用存储空间
解决 Elasticsearch 写操作磁盘空间问题——cluster_block_exception
最新发布
后端开发
08-14 847
在运行 Elasticsearch 集群遇到磁盘空间不足的情况时，Elasticsearch 会采取保护措施以防止数据丢失。错误，特别是当错误消息表明索引被设置为只读模式时。
elasticsearch的硬盘存储表现真的惨不忍睹吗？其实没那么糟糕！
microGP的专栏
06-27 1198
ElasticSearch在当今NOSQL中也算独树一帜的存在了，借助于强大的全文搜索能力以及本身具备的多维度搜索以及聚合能力，再加上母公司Elastic公司的良好运作以及ELK体系的普及，使得ElasticSearch在很多场景下都是NOSQL不二的选择。但是所谓人红是非多，再加上NOSQL数据库都有自己的优缺点和适用场景，没办法做到One Stack to Rule Them All，所以ElasticSearch的很多缺点也同样会被大家拿到台面上审视和批评。在这其中除了跨表无法join查询之外，最大的
Elasticsearch index read-only 问题解决办法（ES磁盘满或满扩容之后处理）
qq_24078621的博客
09-27 3237
背景：同事同步商品的es时，总是报index read-only。如下图。 然后各种排查，先看了一下es的数据节点磁盘已经满了。大部分都是日志数据。先删除日志数据。然后还是报这种错。 原因：当存储空间使用超过95%时，elasticsearch会将索引设置为只读模式，所以新产生的日志不能入库，也不能清除。因为商品和日志都是用的同一个es,导致同步商品也有问题。 解决：curl -XPUT -H “Content-Type: application/json” http://${ip}:9200/.
【Elasticsearch 的内存和硬盘使用情况查询】
weixin_46356409的博客
08-13 1759
通过这些方法和工具，你可以有效地监控和管理 Elasticsearch 的内存和硬盘使用情况，确保其稳定运行。
Elasticsearch：Elasticsearch 容量规划
Elastic 中国社区官方博客
03-27 2122
Elasticsearch 是一个可扩展的分布式系统，可为企业搜索、日志聚合、可观察性和安全性提供解决方案。Elastic 解决方案建立在一个单一、灵活的技术堆栈之上，可以部署在任何地方。要在自托管或云端运行生产环境 Elasticsearch，需要规划基础架构和集群配置，以确保健康且高度可靠的性能部署。在本文中，我们将重点介绍如何在部署生产级集群之前根据使用量估算和创建一个实施计划。
Docker一键部署Canal实现MySQL数据同步到Elasticsearch
该过程涉及到MySQL的binlog配置、Elasticsearch的索引映射设计、Canal的启动和配置以及对同步过程的监控与优化。这一数据同步机制为多种应用场景提供了实时数据更新和分析的能力，极大地丰富了数据的使用方式和价值...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

少林码僧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值