【Elasticsearch】Data too large, data for which is larger than the limit of

最新推荐文章于 2023-12-04 17:12:08 发布
最新推荐文章于 2023-12-04 17:12:08 发布
阅读量1.8k 收藏 2
点赞数 1
分类专栏： 大数据-Elasticsearch
原文链接：https://www.jianshu.com/p/fb35df087b49
版权
大数据-Elasticsearch 专栏收录该内容
561 篇文章 547 订阅 ¥79.90 ¥99.00
订阅专栏
本文介绍了在Elasticsearch 7.3.2中遇到的'Data too large'异常，详细解析了异常产生的原因，涉及内存使用限制、百分比阈值以及breaker配置。通过调整indices.breaker.total.use_real_memory设置为false并滚动重启集群，成功避免了异常出现，提高了集群在业务压测时的稳定性。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

参考：elasticsearch报Data too large异常处理

在线上ES集群日志中发现了如下异常，elasticsearch版本为7.3.2

[2021-03-16T21:05:10,338][DEBUG][o.e.a.a.c.n.i.TransportNodesInfoAction] [java-d-service-es-200-56-client-1] failed to execute on node [hsF4JzeAQ6mflJRGnJIKzQ]
org.elasticsearch.transport.RemoteTransportException: [data-es-group-online-200-67-2][10.110.200.67:9301][cluster:monitor/nodes/info[n]]
Caused by: org.elasticsearch.common.breaker.CircuitBreakingException: [parent] Data too large, data for [<transport_request>] would be [33093117638/30.8gb], which is larger than the limit of [31621696716/29.4gb], real usage: [33093114144/30.8gb], new bytes reserved: [3494/3.4kb], usages [request=0/0b, fielddata=0/0b, in_flight_requests=3494/3.4kb, accounting=104564949/99.7mb]
 at org.elasticsearch.indices.breaker.HierarchyCircuitBreakerService.checkParentLimit(HierarchyCircuitBreakerService.java:342) ~[elasticsearch-7.3.2.jar:7.3.2]
 at org.elasticsearch.common.breaker.ChildMemoryCircuitBreaker.addEstimateBytesAndMaybeBreak(ChildMemoryCircuitBreaker.java:128) ~[elasticsearch-7.3.2.jar:7.3.2]
 at org.elasticsearch.transport.InboundHandler.handleRequest(InboundHandler.java:173) [elasticsearch-7.3.2.jar:7.3.2]
 at org.elasticsearch.transport.InboundHandler.messageReceived(InboundHandler.java:121) [elasticsearch-7.3.2.jar:7.3.2]
 at org.elasticsearch.transport.InboundHandler.inboundMessage(InboundHandler.java:105) [elasticsearch-7.3.2.jar:7.3.2]
 at org.elasticsearch.transport.TcpTransport.inboundMessage(TcpTransport.java:660) [elasticsearch-7.3.2.jar:7.3.2]
 at org.elasticsearch.transport.netty4.Netty4MessageChannelHandler.channelRead(Netty4MessageChannelHandler.java:62) [transport-netty4-client-7.3.2.jar:7.3.2]
 at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:374) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:360) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:352) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.handler.codec.ByteToMessageDecoder.fireChannelRead(ByteToMessageDecoder.java:323) [netty-codec-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.handler.codec.ByteToMessageDecoder.channelRead(ByteToMessageDecoder.java:297) [netty-codec-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:374) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:360) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:352) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.handler.logging.LoggingHandler.channelRead(LoggingHandler.java:241) [netty-handler-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:374) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:360) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:352) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1408) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:374) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:360) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:930) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:163) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:682) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.nio.NioEventLoop.processSelectedKeysPlain(NioEventLoop.java:582) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:536) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:496) [netty-transport-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:906) [netty-common-4.1.36.Final.jar:4.1.36.Final]
 at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74) [netty-common-4.1.36.Final.jar:4.1.36.Final]
 at java.lang.Thread.run(Thread.java:835) [?:?]
[2021-03-16T21:05:11,203][INFO ][o.e.x.s.a.AuthenticationServi

拉下ES源码，报错类位置org.elasticsearch.indices.breaker.HierarchyCircuitBreakerService，具体代码如下：

public void checkParentLimit(long newBytesReserved, String label) throws CircuitBreakingException {
     final MemoryUsage memoryUsed = memoryUsed(newBytesReserved);
     long parentLimit = this.parentSettings.getLimit();
     if (memoryUsed.totalUsage > parentLimit) {
         this.parentTripCount.incrementAndGet();
         final StringBuilder message = new StringBuilder("[parent] Data too large, data for [" + label + "]" +
                 " would be [" + memoryUsed.totalUsage + "/" + new ByteSizeValue(memoryUsed.totalUsage) + "]" +
                 ", which is larger than the limit of [" +
                 parentLimit + "/" + new ByteSizeValue(parentLimit) + "]");
         if (this.trackRealMemoryUsage) {
             final long realUsage = memoryUsed.baseUsage;
             message.append(", real usage: [");
             message.append(realUsage);
             message.append("/");
             message.append(new ByteSizeValue(realUsage));
             message.append("], new bytes reserved: [");
             message.append(newBytesReserved);
             message.append("/");
             message.append(new ByteSizeValue(newBytesReserved));
             message.append("]");
         } else {
             message.append(", usages [");
             message.append(String.join(", ",
                 this.breakers.entrySet().stream().map(e -> {
                     final CircuitBreaker breaker = e.getValue();
                     final long breakerUsed = (long)(breaker.getUsed() * breaker.getOverhead());
                     return e.getKey() + "=" + breakerUsed + "/" + new ByteSizeValue(breakerUsed);
                 })
                     .collect(Collectors.toList())));
             message.append("]");
         }
         // derive durability of a tripped parent breaker depending on whether the majority of memory tracked by
         // child circuit breakers is categorized as transient or permanent.
         CircuitBreaker.Durability durability = memoryUsed.transientChildUsage >= memoryUsed.permanentChildUsage ?
             CircuitBreaker.Durability.TRANSIENT : CircuitBreaker.Durability.PERMANENT;
         throw new CircuitBreakingException(message.toString(), memoryUsed.totalUsage, parentLimit, durability);
     }
 }

从代码可以看出，当memoryUsed.totalUsage > parentLimit时，才会出现熔断；parentLimit的值与配置indices.breaker.total.limit（默认值为95%或者70%）有关，它的默认值与indices.breaker.total.use_real_memory（默认值为true）的配置有关，如下代码所示：

public static final Setting<Boolean> USE_REAL_MEMORY_USAGE_SETTING =
    Setting.boolSetting("indices.breaker.total.use_real_memory", true, Property.NodeScope);
 
public static final Setting<ByteSizeValue> TOTAL_CIRCUIT_BREAKER_LIMIT_SETTING =
    Setting.memorySizeSetting("indices.breaker.total.limit", settings -> {
        if (USE_REAL_MEMORY_USAGE_SETTING.get(settings)) {
            return "95%";
        } else {
            return "70%";
        }
    }, Property.Dynamic, Property.NodeScope);

我们再来看看memoryUsed.totalUsage的值，它是该类的一个方法计算出来，代码如下：

private MemoryUsage memoryUsed(long newBytesReserved) {
       long transientUsage = 0;
       long permanentUsage = 0;
 
       for (CircuitBreaker breaker : this.breakers.values()) {
           long breakerUsed = (long)(breaker.getUsed() * breaker.getOverhead());
           if (breaker.getDurability() == CircuitBreaker.Durability.TRANSIENT) {
               transientUsage += breakerUsed;
           } else if (breaker.getDurability() == CircuitBreaker.Durability.PERMANENT) {
               permanentUsage += breakerUsed;
           }
       }
       if (this.trackRealMemoryUsage) {
           final long current = currentMemoryUsage();
           return new MemoryUsage(current, current + newBytesReserved, transientUsage, permanentUsage);
       } else {
           long parentEstimated = transientUsage + permanentUsage;
           return new MemoryUsage(parentEstimated, parentEstimated, transientUsage, permanentUsage);
       }
   }

trackRealMemoryUsage的值（取自该配置indices.breaker.total.use_real_memory）决定了是使用实际的内存使用量还是child circuit breakers的内存使用量来判断熔断; 官方解释如下：

Static setting determining whether the parent breaker should take real memory usage into account (true) or only consider the amount that is reserved by child circuit breakers (false). Defaults to true

总结：2021年3月17日中午11点50开始修改线上DATA节点配置：indices.breaker.total.use_real_memory:false 并且滚动重启了线上集群；

今天是2021年3月18日，昨天中午更新完该配置，昨天晚上18:30对集群进行了业务压测，未见该异常出现；（没改前，压力测试集群会掉点，并且由于分片漂移导致集群变yellow）;

九师兄
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Comparison of the Big Data Tools Solr and Elasticsearch
02-21
This study researches and analyzes the differences between Solr and Elasticsearch with regards to their query and indexing speeds, ease and difficulties of use, configuration forms, and architectures ...
Spring Data Elasticsearch API（Spring Data Elasticsearch 开发文档）.CHM
08-31
Spring Data Elasticsearch API（Spring Data Elasticsearch 开发文档）.CHM。 官网 Spring Data Elasticsearch API
ElasticSearch：从[FIELDDATA]Data too large错误看FieldData配置
雷雨中的双桅船
07-06 2万+
产生Data too large异常 再尝试其他查询也是如此经排查原来是ES默认的缓存设置让缓存区只进不出引起的具体分析一下 ES缓存区概述 FieldData 1 监控FieldData 2 Cache配置 3 FieldData格式 断路器 总结1. 产生Data too large异常今早运行查询时，ES返回了如下报错：{ "error": "... CircuitBreakingE
记录一下Elasticsearch踩坑-数据请求的时报错 Data too large, data for [＜http_request＞]
weixin_43688870的博客
06-09 3476
1.问题描述 今天在学习elstaticsearch的时候，在请求某一个index下的所有数据时候，请求失败 控制台输出显示 Data too large, data 2.问题分析 请求数据太大，默认配置的elstaticsearch无法处理 3.解决思路 修改~/config/elasticsearch.yml文件 添加以下配置 http.host: 0.0.0.0 #最久未使用（LRU）的 fielddata 会被回收为新数据腾出空间 必须要添加的配置 indices.breaker.tot
elasticsearch Data too large问题解决
weixin_45112997的博客
05-30 2295
es Data too large问题
elasticsearch6.1.3查询只返回部分数据或报错Data too large
冰川的博客
03-13 1430
1、ES导出报错CircuitBreakingException[[FIELDDATA] Data too large, data for [proccessDate] would be larger than limit of [10307921510/9.5gb]] 2、ES导出丢失数据，只返回范围内部分数据，同时未报错
ElasticSearch 日志which is larger than the limit of...
叱咤少帅的博客
03-07 6103
背景 最近几天一直受到ElasticSearch 的master的cpu标高的情况，Elastsearch的健康状态为yellow，而且登录Kibana一直在打转转 于是我登录服务器查看日志到底发生了什么。 登录服务器查看日志 日志如下: 分析： 从这个字母意思可以看出，日志太大了超过了系统的限制. 通过google得出结论是： jvm 堆内存不够当前查询加载数据所以会报 data too la...
Kibana启动报错：Data too large, data for [＜http_request＞] would be [294435648/280.7mb], which is larger t
王一横的个人博客
05-17 2389
Kibana启动报错：Data too large, data for [<http_request>] would be [294435648/280.7mb], which is larger than the limit of 数据量太大导致内存不足，可以设置fielddata的内存限制，默认60% 解决方法 curl -u elastic -XPUT "ip:port/_cluster/settings" -H 'Content-Type: application/json' -d '{
解决Elasticsearch查询出现Data too large……情况
热门推荐
baidu_16950787的博客
04-18 3万+
Elasticsearch在实际生产环境中提供实时查询，出现Data too large, data for [src_ip] would be larger than limit……     经过一番查找，才发现粗心的同事在启动es的时候忘记设置堆内存（ES_HEAP_SIZE）导致这种情况。es默认启动是指定堆内存为1G，在生产环境肯定是不能满足的。于是./elasticsearch -Xms...
Elasticsearch 请求报错 Data too large
爱喝咖啡的程序员的博客
03-24 1万+
最近在使用公司Elasticseach 7.3.1时，经常报出以下错误，环境时好时坏: "[circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [2052417488/1.9gb], which is larger than the limit of [20...
解决Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large问题
最新发布
qq_42449963的博客
12-04 2987
公司有一批8万的数据存储在Mysql中，然后我使用多线程的方式使用Elasticsearch的bulk()方法推送到ES，在推送过程中出现了该问题，这属于插入数据时产生的问题。从上面错误日志可以看出，现在是父熔断器（parent）直接熔断了，现在我们来介绍一下这几种熔断器作用。
SpringBoot整合Spring Data Elasticsearch的过程详解
08-25
"SpringBoot整合Spring Data Elasticsearch的过程详解" SpringBoot整合Spring Data Elasticsearch是将SpringBoot框架与Elasticsearch搜索引擎进行整合，以实现数据的搜索和索引功能。下面将详细介绍SpringBoot整合...
Springboot集成spring data elasticsearch过程详解
08-19
Spring Boot 集成 Spring Data Elasticsearch 过程详解 Spring Boot 是一个基于 Java 的框架，用于快速构建独立的、生产级别的基于 Spring 的应用程序，而 Spring Data Elasticsearch 是 Spring Data 家族中的一员...
spring-data-elasticsearch-example:Spring Data Elasticsearch示例
05-11
**Spring Data Elasticsearch 示例详解** Spring Data Elasticsearch 是一个用于简化与 Elasticsearch 交互的库，它是 Spring Data 家族的一部分，旨在提供一种声明式的方式来进行索引管理和文档操作。本示例项目，...
【Elasticsearch】【转】Elasticsearch中使用_id排序导致 data too large 问题
闲时不要多想
10-13 269
elasticsearch
ES实战- data too large, data for
qq_33225122的博客
02-11 5746
深度解析Caused by: ElasticsearchStatusException[Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large
[Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large, data for
qq_34412985的博客
12-08 2394
ElasticsearchStatusException[Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large, data for [<http_request>] would be [7791531894/7.2gb], which is larger than the limit of [7752453324/7.2gb], real usage: [779153120
ELK之kibana的web报错[request] Data too large, data for [<agg [2]>] would be larger than limit of
weixin_34167043的博客
05-16 1659
ELK架构：elasticsearch+kibana+filebeat 版本信息： elasticsearch 5.2.1 kibana 5.2.1 filebeat 6.0.0 (预览版) 今天在进行ELK测试的时候，在kibana上面discover无论那个index，发现均会报错：[request] Data...
Docker启动Kibana显示Data too large问题
weixin_44178366的博客
03-01 1288
问题描述 ## 主要就是数据量过大的问题引起的 which is larger than the limit of [246546432/235.1mb] FATAL [circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [250592200/238.9mb], which is larger than the limit of [246546432/235.1mb],
ES查询报错data too large, data for
05-31
这个错误通常是因为返回的数据量太大，超出了 Elasticsearch 默认的返回数据大小限制。可以通过以下几种方法来解决这个问题： 1. 增加 Elasticsearch 的返回数据大小限制。可以在查询时添加如下参数来增加返回数据大小限制：`"size": 10000`。可以根据实际情况适当增加这个数值。 2. 使用 Elasticsearch 的 Scroll API 进行分批查询，避免一次查询返回的数据量过大。具体使用方法可以参考 Elasticsearch 官方文档。 3. 对查询条件进行优化，减少返回的数据量。可以通过增加过滤条件、使用聚合查询等方式来减少返回的数据量。 4. 增加 Elasticsearch 的内存大小。可以通过增加 Elasticsearch 的内存大小来缓解这个问题，不过这并不是一个很好的解决方案，因为可能会导致其他问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值