elasticsearch 7.4.0 磁盘超过80%后出现数据写不进去的问题

最新推荐文章于 2024-07-02 16:32:04 发布

程序猿20

最新推荐文章于 2024-07-02 16:32:04 发布

阅读量2.2k

点赞数

分类专栏：大数据技术文章标签： elasticsearch 大数据

本文链接：https://blog.csdn.net/liaomingwu/article/details/115425880

版权

大数据技术专栏收录该内容

74 篇文章 5 订阅

订阅专栏

elasticsearch磁盘超过80%后，会出现连接都正常，写接口也不报错，只是数据没有写入，当然也就无法查询到。

经过查找原因，原来磁盘超过80%后，es默认会变成只读模式，扩容后，也不会自动还原，通过下面的语句可以还原回来。

PUT _settings
{
  "index": {
    "blocks": {
      "read_only_allow_delete": "false"
    }
  }
}

elasticsearch 设置使用磁盘上限百分比

根据项目情况，可以更改设置 elasticsearch 磁盘上限，避免磁盘空间达到80%出现数据大批量转移或多节点磁盘空间不足导致故障

PUT /_cluster/settings
{
  "transient": {
    "cluster.routing.allocation.disk.watermark.low": "90%",
    "cluster.routing.allocation.disk.watermark.high": "95%",
    "cluster.info.update.interval": "1m"
  }
}

配置参考地址：

Cluster-level shard allocation and routing settings | Elasticsearch Guide [7.16] | Elastic

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

程序猿20

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

ES系列：Elasticsearch index read-only 问题解决办法（ES磁盘满或满扩容之后处理）

NIO4444

06-18

6117

现象 ES 容器的 json.log 日志文件中不断有大量日志，主要是：[FORBIDDEN/12/indexread-only/ allow delete (api)] 原因没有及时清理旧的索引数据，导致磁盘空间不足，进而触发了 ES 自身基于磁盘的分片策略。索引中read_only_allow_delete 值为 true ，需要将其设置为 false 来解除索引只读限制。 PUT _settings { "index":{ "blocks":{...

Elasticsearch shard磁盘水位线详解

yonggeit的博客

02-08

950

先回顾几个概念：ES的Index是个逻辑概念，实际由若干shard组成，而shard就是Lucene的Index，即真正存储数据的实体。当有数据需要存储的时候，就需要先分配shard。具体来说需要分配shard的场景包括：数据恢复，主分片（primary）、副本分片的分配，再平衡（rebalancing），节点的新增、删除。对于分布式存储系统来说，数据的分布非常重要，ES shard的分配工作由ES的master节点负责。

参与评论您还未登录，请先登录后发表或查看评论

elasticsearch 设置使用磁盘上限百分比

09-06

1917

设置 elasticsearch 磁盘上限，避免磁盘空间达到80%出现数据大批量转移或多节点磁盘空不足导致故障 PUT /_cluster/settings { "transient": { "cluster.routing.allocation.disk.waterm...

【elastic默认磁盘达到百分之多少不写入】

最新发布

qq_36365520的博客

07-02

306

elastic默认磁盘达到百分之多少不进行写入

elasticsearch磁盘超过80%后出现数据写不进去的问题

Subbe的博客

04-18

3262

1、原因：硬盘将近写满后，索引变为 read_only_allow_delete=true 只读状态，防止日志再写入。 2、解决：清理磁盘，使占用低于80%。扩大磁盘容量 3、需要手动修改索引状态 PUT _settings { "index": { "blocks": { "read_only_allow_delete": "false" } } } 也可使用postman等工具调用 ...

【ElasticSearch】6.7.1版本磁盘满了无法写入数据

gong_yangyang的博客

12-15

540

由于服务器磁盘达到95%，导致索引不可写；

ElasticSearch磁盘达到阈值异常，写不进去数据

Mirror_w的博客

12-11

2642

异常信息 { "error": { "root_cause": [ { "type": "cluster_block_exception", "reason": "index [blog1] blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];" } ], "

es数据无法写入，报错[FORBIDDEN/12/index read-only / allow delete (api)]

luoqinglong的专栏

04-20

1880

环境： filebeat , kafka, logstash , elastic search ,版本7.4套件。问题： logstash写数据到es报错，如下图分析：查看了es安装目录的磁盘空间占用，已经超过92%，如下图：结论： ES说明文档中有写明，当ES数据所在目录磁盘空间使用率超过90%后，ES将修改为只读状态，所以初步判断是磁盘空间不足导致ES不允...

在CentOS 7上以rpm方式安装Elasticsearch 7.4.0

锐意工作室

10-16

1214

文章目录在CentOS 7上以rpm方式安装Elasticsearch 7.4.0前言安装前准备下载安装包安装ElasticsearchElasticsearch目录配置Elasticsearch配置JVM参数配置数据目录和日志目录以服务方式启动Elasticsearch验证Elasticsearch安装KibanaTroubleshooting问题1: unable to create temporary keystore参考文档在CentOS 7上以rpm方式安装Elasticsearch 7.4.0

elasticsearch因磁盘空间不足出现故障

pyzhizhuren的博客

02-21

2183

基于磁盘容量的shard分配策略（Disk-based shard allocation）默认就是开启的，其机制也非常简单，主要就是3条非常重要的分水线（watermark）： low watermark：默认值是85%。磁盘使用超过这个阈值，就认为“危险”快来了，这个时候就不会往该节点再分配replica shard了，但新创建的索引的primary shard还是可以分配。特别注意必须是新创建的索引（什么是“老的”？比如再平衡时其它节点上已经存在的primary shard就算老的，这部分也是不能够迁

通过ES-Hadoop实现Spark读写Elasticsearch数据

Cloud Tech的博客

01-11

1535

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。 Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据

Elasticsearch查询慢、效率低、磁盘不够用？索引生命周期管理帮您解决

Cloud Tech的博客

07-05

1347

对于时间序列数据，会随着时间的积累越来越大，您可以通过索引生命周期管理ILM（Index Lifecycle Management）定期将数据滚动到新索引，防止因数据过大影响查询效率和成本。随着索引的老化和查询频率的降低，您可以将其转移到价格较低的磁盘上，并减少分片和副本的数量。本文以管理Heartbeat数据为例，介绍通过ILM管理索引的方法。索引生命周期管理ILM是指ES对索引进行设置、创建、打开、关闭、删除的全生命周期管理的过程。ES（6.6.0及以上版本）提供了ILM功能，将索引生命周期分为4个阶

elasticsearch磁盘空间满了故障处理思路

热门推荐

蘑菇丁的专栏

03-24

2万+

昨天接到客户投诉说ES数据目录已达到100%了，当时第一想法监控组怎么监控的80%报警为什么没有监控出啦，经问，监测组是几天前接到报警，并忽略了，我当时那个崩溃，并有想骂人的冲动，这是现网，不是测试时环境，竟然有这么不负责的同事我也是醉的，我登录服务器一看磁盘空间最糟的100%，另几个99%，刚搭建两个月的集群出现空间不足，当时说没有这么大的数据量，我自己给自己挖了一个大坑，把数据存在一个磁盘上。

一次写入es失败问题排查

lucas1018的博客

02-01

4993

今下午一同事反馈说在 kibana 中没看到日志，但是在对应的日志文件中是能查到的。一开始以为是 kibana 跨时间的问题，但打开日志文件看那条记录，时间是没啥问题的，距离上一条记录前后也只相差10 min左右，而上一条记录在 kibana 中是能找到的。 # 上一条，kibana 中存在 {"@timestamp":"2021-02-01T06:10:11.494Z","datetime":{"timezone_type":3,"date":"2021-02-01 14:10:11....

收藏：Elasticsearch磁盘占用大于95%时将所有索引置为只读

jackyrongvip的专栏

03-25

2514

今天遇到这个问题了，笔记下。https://blog.csdn.net/cxcjoker7894/article/details/84504418 个稳定运行的功能忽然收到报错，查明原因是在向Elasticsearch中插入文档时报错： AuthorizationException: AuthorizationException(403, u'cluster_block_exception...

Elasticsearch index read-only 问题解决办法（ES磁盘满或满扩容之后处理）

qq_24078621的博客

09-27

3191

背景：同事同步商品的es时，总是报index read-only。如下图。然后各种排查，先看了一下es的数据节点磁盘已经满了。大部分都是日志数据。先删除日志数据。然后还是报这种错。原因：当存储空间使用超过95%时，elasticsearch会将索引设置为只读模式，所以新产生的日志不能入库，也不能清除。因为商品和日志都是用的同一个es,导致同步商品也有问题。解决：curl -XPUT -H “Content-Type: application/json” http://${ip}:9200/.

elasticsearch调整资源上限（个人使用）

qq_39228423的博客

11-21

432

会出现连接都正常，写接口也不报错，只是数据没有写入，当然也就无法查询到。经过查找原因，原来磁盘超过80%后，es默认会变成只读模式，扩容后，也不会自动还原，通过下面的语句可以还原回来。

Es无法写入数据的原因分析

qq_37158147的博客

05-05

1842

Es无法写入数据的原因分析

elasticSearch查询大数据量时，磁盘长时间100%

04-01

As an AI language model, I don't have emotions or feelings, and my responses are based on the input I receive. Null is a term used in programming languages to represent the absence of a value or a variable that has not been assigned a value yet. It is often used as a placeholder or a default value.