【Elastic】Data too large, data for [bulk] would be [21063213/20mb]

已于 2024-02-19 10:58:46 修改
阅读量414 收藏
点赞数
分类专栏： 大数据-flink 大数据-Elasticsearch 文章标签： elasticsearch 搜索引擎 大数据
于 2023-07-21 20:13:42 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/126491730
版权
大数据-flink 同时被 2 个专栏收录
840 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
大数据-Elasticsearch
561 篇文章 548 订阅 ¥79.90 ¥99.00
订阅专栏
在尝试使用Flink将数据写入Elasticsearch时，遇到了'Data too large'的错误，原因是ES集群配置了10MB的批量写入限制。为解决此问题，只需将Flink的批量大小调整为10MB即可正常写入。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

flink写入es的时候报错 Data too large, data for [bulk] would be [21063213/20mb]

2022-08-23 18:42:23,357 ERROR
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Elasticsearch】Data too large, data for which is larger than the limit of
九师兄
07-20 1912
1.概述 参考：elasticsearch报Data too large异常处理 在线上ES集群日志中发现了如下异常，elasticsearch版本为7.3.2 [2021-03-16T21:05:10,338][DEBUG][o.e.a.a.c.n.i.TransportNodesInfoAction] [java-d-service-es-200-56-client-1] failed to execute on node [hsF4JzeAQ6mflJRGnJIKzQ] org.elasticsear
circuit_breaking_exception,“reason“:“[parent] Data too large, data for [＜http_request＞]
fanshukui的专栏
07-23 6975
ES 断路器，jvm堆内存不够当前查询加载数据所以会报data too large, 请求被熔断。 一、出现原因 批量导入数据过多 或者 查询数据太多，比较频繁 集群状态为yellow或red时，分析原因： GET _cluster/allocation/explain 二、定期清理缓存 出现这样问题，一般是 服务器 内存不够导致的，可以加大 ES可用的内存，但是如果加大不了，那么为了保证服务的可用性，可以 来一个定时任务，定期清理 索引缓存。 虽然可能导致 查询会慢，但是总比直接报错 查询.
ES实战- data too large, data for
qq_33225122的博客
02-11 6092
深度解析Caused by: ElasticsearchStatusException[Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large
ElasticSearch：从[FIELDDATA]Data too large错误看FieldData配置
雷雨中的双桅船
07-06 2万+
产生Data too large异常 再尝试其他查询也是如此经排查原来是ES默认的缓存设置让缓存区只进不出引起的具体分析一下 ES缓存区概述 FieldData 1 监控FieldData 2 Cache配置 3 FieldData格式 断路器 总结1. 产生Data too large异常今早运行查询时，ES返回了如下报错：{ "error": "... CircuitBreakingE
解决Elasticsearch查询出现Data too large……情况
baidu_16950787的博客
04-18 3万+
Elasticsearch在实际生产环境中提供实时查询，出现Data too large, data for [src_ip] would be larger than limit……     经过一番查找，才发现粗心的同事在启动es的时候忘记设置堆内存（ES_HEAP_SIZE）导致这种情况。es默认启动是指定堆内存为1G，在生产环境肯定是不能满足的。于是./elasticsearch -Xms...
一次elasticsearch集群jvm断路器修复记录
weixin_42603784的博客
06-23 1233
elasticsearch集群熔断，[parent] Data too large, data for [indices:data/write/bulk[s]] would be [27989754
[fielddata] Data too large, data for [_id] would be [13181907968/12.2gb]
OliverCaro的博客
09-13 2424
批量处理数据报如上错误， TODO org.frameworkset.elasticsearch.ElasticSearchException: {"error":{"root_cause":[{"type":"circuit_breaking_exception","reason":"[fielddata] Data too large, data for [_id] would be [13181907968/12.2gb], which is larger than the limit of [1
[0]: index [audit_log_share_6_2023_7], type [_doc], id [64a9b7f18dced0000169db86], message [ElasticsearchException[Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large, data for [indices:data/write/bulk[s]] would be [10214441696/9.5gb], which is larger than the limit of [10200547328/9.5gb], real usage: [10214440528/9.5gb], new bytes reserved: [1168/1.1kb], usages [request=0/0b, fielddata=206560/201.7kb, in_flight_requests=34048/33.2kb, model_inference=0/0b, accounting=99048310/94.4mb]]]]
07-12
这个错误信息显示在执行Elasticsearch操作时发生了一个断路异常（circuit_breaking_exception）。根据错误信息，数据大小为10.2GB，超过了9.5GB的限制。实际使用的空间为10.2GB，新增的空间为1.1KB。错误信息还提供...
Elasticsearch 7.x版本重大改变（Breaking changes in 7.x）
withlw
09-17 6361
Breaking changes in 7.0 This section discusses the changes that you need to be aware of when migrating your application to Elasticsearch 7.0. 本部分讨论将应用程序迁移到Elasticsearch 7.0时需要注意的更改。 Indices created before 7.0 Elasticsearch 7.0 can read indices created in v
elasticSearch常见问题答疑
热门推荐
lauyiran的博客
01-17 3万+
1.ES不是什么 ES不是可靠的存储系统，不是数据库，它有丢数据的风险。具体请参考ES内部分享中的ES简介这个文档 2.为什么一条数据写入后马上查询查不到？ ES不是实时系统，数据写入成功只是trans log成功（类似于mysql的bin log），写入成功后立刻查询查不到是正常的。因为数据此刻可能还在内存里而不是进入存储引擎里。 同理，删除一条数据后也不是马上消失 写入何时可查询？ES内部有一...
elasticsearch6.1.3查询只返回部分数据或报错Data too large
冰川的博客
03-13 1494
1、ES导出报错CircuitBreakingException[[FIELDDATA] Data too large, data for [proccessDate] would be larger than limit of [10307921510/9.5gb]] 2、ES导出丢失数据，只返回范围内部分数据，同时未报错
es 报错 Data too large 触发断路器
以梦为马|越骑越傻
11-10 1272
es 报错 Data too large 触发断路器
Elasticsearch 请求报错 Data too large
爱喝咖啡的程序员的博客
03-24 1万+
最近在使用公司Elasticseach 7.3.1时，经常报出以下错误，环境时好时坏: "[circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [2052417488/1.9gb], which is larger than the limit of [20...
解决Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large问题
qq_42449963的博客
12-04 3191
公司有一批8万的数据存储在Mysql中，然后我使用多线程的方式使用Elasticsearch的bulk()方法推送到ES，在推送过程中出现了该问题，这属于插入数据时产生的问题。从上面错误日志可以看出，现在是父熔断器（parent）直接熔断了，现在我们来介绍一下这几种熔断器作用。
【Elasticsearch】【转】Elasticsearch中使用_id排序导致 data too large 问题
闲时不要多想
10-13 294
elasticsearch
ES写入数据时：circuit_breaking_exception[[parent] Data too large
qq_41978323的博客
09-27 1644
根本原因是ES设置有问题，默认配置是JVM内存使用达到75%的时候进行full GC
记录一次尝试修复elasticsearch Data too large问题
u012803274的博客
02-27 1万+
前言 这周三，一边调试api crashloopbackoff的问题，一边准备写promSQL语句，然后开发小伙伴说环境3的es又挂了，表现就是查询数据报错： circuit_breaking_exception[[parent] Data too large, data for [<transport_request>] would be [1318476937/1.2gb], which is larger than the limit of [1237372108/1.1gb], real
ES报错Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large, data f
再无此人的博客
09-08 1040
Elasticsearch exception [type=circuit_breaking_exception, reason=[parent] Data too large, data for [] would be [505648516/482.2mb], which is larger than the limit of [501746892/478.5mb], real usage: [505647744/482.2mb], new bytes reserved: [7
org.elasticsearch.ElasticsearchStatusException: Elasticsearch exception Data too large
最新发布
03-01
根据提供的引用内容，"org.elasticsearch.ElasticsearchStatusException: Elasticsearch exception Data too large"错误是由于数据大小超过了Elasticsearch的限制引起的[^1]。具体来说，错误信息中提到了"circuit_...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值