【Flink】Flink RocksDBListState getInternal 状态太大 导致OOM Java heap space

已于 2024-07-18 09:15:56 修改
阅读量907 收藏
点赞数
分类专栏： 大数据-flink 文章标签： java flink 开发语言
于 2022-09-10 01:07:38 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124856719
版权
本文探讨了在Flink使用RocksDBListState时遇到的Java heap space OOM问题，分析了可能由于窗口内数据过多导致的内存溢出，并提出了缩小状态大小或调整窗口大小的解决方案。
摘要由CSDN通过智能技术生成

在这里插入图片描述
20220910 01:03 睡不着了，想着今天晚上一个小时重新撸了一遍开发了2个月的代码，重写了一遍。然后到家后发现又失眠了，最近总是容易失眠，九师兄干脆起来学习。

1.概述

FLink使用RocksDBListState 这个内存溢出，是不是这个窗口里面的数据太多了导致的?

在这里插入图片描述

本文出自 csdn 九师兄，防伪标志，本文由九师兄唯一发布。原地址：https://blog.csdn.net/qq_21383435

根据报错找到报错位置

    @Override
    public Iterable<V> get
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Apache Flink 技术解读之分布式运行时环境
imgxr的博客
08-17 869
本文基于 Apache Flink 1.3 版本官方文档翻译。 任务与运算符链接在实际的分布式计算环境中，Flink 会将多个运算子任务链接到分布式计算任务中。每个线程执行一个计算任务。将运算符链接到计算任务中对于系统性能的提升有很大的帮助：它降低了线程间切换与缓冲的开销，并且在降低延时的同时减少了系统的总体吞吐量。可以对这种链接操作进行配置，具体内容请参考链接文档。如下图所示的数据流图包含...
flink常见故障排除
第一片心意的博客
10-16 6637
flink常见故障排除
启动flink任务问题一
qq_40844739的博客
07-22 434
1.大部分情况，通常只需要通过-Xmx参数调高JVM堆内存空间即可。2.上游数据量太大，将taskmanager内存设大点。
关于在Flink上多次提交任务导致OOM
weixin_40393421的博客
06-16 2448
最近在开发Flink任务过程当中发现了一个比较奇怪的问题，在Flink上多次提交任务后会出现一个OOM的异常，意思是Flink的内存已经满了，无法再提交新的任务。如下： 其中有这么一句： 该异常确实是多次提交任务后出现的，不禁让人怀疑： 为了验证这个怀疑，就不得不先了解Flink的类加载机制。在Flink中，有两种类加载机制：因为Flink是基于JVM的，所以先回顾下JVM的类加载机制在JVM中，一个类加载的过程大致分为加载、链接（验证、准备、解析）、初始化5个阶段。而我们通常提到类的加载，就是指利用类加
RocksDB基本架构与原理介绍
热门推荐
qq_30708747的博客
10-19 2万+
Rocksdb Flink提供基于流的有状态计算，除了提供实时数据流的处理能力，还需要将计算产生的状态存储起来。 为了满足状态存取需求，提供了memory、flie system、rocksdb三种类型的状态存储机制。 memory存取高效单空间有限，且可用性低； file system提供状态持久化能力但存取性能较低； rocksdb提供数据快速写入以及数据持久化的能力。本文介绍了Rocksdb设计的基本架构。 RocksDB介绍 Rocksdb 是基于Google LevelDB研发的高性能kv持久化存
flink 常用异常错误解析
wppwpp1的专栏
02-09 1658
IllegalConfigurationException 如果您看到从TaskExecutorProcessUtils或JobManagerProcessUtils抛出IllegalConfigurationException，则通常表明存在无效的配置值（例如，负的内存大小，大于1的分数等）或配置冲突。检查与异常消息中提到的内存组件相关的文档章节或配置选项。 OutOfMemoryError：Java堆空间 异常通常表明JVM堆太小。您可以尝试通过增加总内存来增加JVM堆大小。您也可以直接增..
剑指大数据——Flink学习精要_java版
04-21
"Flink学习精要_java版" Flink 是一个由 Apache 软件基金会旗下的开源大数据处理框架，当前已经成为各大公司大数据实时处理的发力重点。Flink 起源于一个叫作 Stratosphere 的项目，由柏林理工大学的教授沃克尔·...
flink-java-1.13.2-API文档-中文版.zip
06-05
赠送jar包：flink-java-1.13.2.jar； 赠送原API文档：flink-java-1.13.2-javadoc.jar； 赠送源代码：flink-java-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-java-1.13.2.pom； 包含翻译后的API文档：flink-...
flink-java-1.14.3-API文档-中文版.zip
06-06
赠送jar包：flink-java-1.14.3.jar； 赠送原API文档：flink-java-1.14.3-javadoc.jar； 赠送源代码：flink-java-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-java-1.14.3.pom； 包含翻译后的API文档：flink-...
flink大数据技术（java）
05-20
### Flink大数据技术（Java） #### 1. 初识Flink **1.1 Flink的源起和设计理念** Flink，源自于一个名为Stratosphere的研究项目，该项目始于2010年，由柏林理工大学教授沃克尔·马尔科（Volker Markl）领导，与...
Flink+Kafka的JavaAPI应用
05-30
此案例使用的是IDEA开发工具，项目...使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
【Flink】Flink RocksDB内存占用一直增大 state.backend.rocksdb.memory.managed
九师兄
11-11 2823
1.概述 有人遇到过RocksDB内存占用一直增大的情况吗？flink-1.13.1 版本 为什么要关掉托管内存？ iterator读并发比较高的场景，会锁定内存中的数据。关掉托管空出多点内存空间，是比较粗暴的处理方式，但很有效。有性能方面的问题再去调整rocksdb配置 如果开启rocksdb statebackend ，并且没有打开增量就会有这个问题。 配置为 state.backend.rocksdb.memory.managed ...
编译level db rocksdb
linuxheik的专栏
05-17 1145
http://www.cnblogs.com/oloroso/p/6306352.html http://www.cnblogs.com/oloroso/p/6323400.html
Flink on RocksDB 参数调优指南
qq_38363255的博客
01-29 923
1. 背景 对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]. 基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写...
flink实战-处理oom问题
得救之道就在其中
05-19 2952
最近生产频繁遇到flink的tm挂掉的情况，查看了日志发现如下内存使用情况 可见出现峰值，触发了系统的oom-killer程序，通过查看下系统日志 /var/log/messages 确认了的确触发的系统oom-killer [ pid ] uid tgid total_vm rss nr_ptes swapents oom_score_adj name [21862] 978 21862 2103161 249370 733 0 0
java内存分析工具-jmap/jstat/jvisual vm/mat -- 记一次Flink任务OOM问题的解决
lijianqingfeng的专栏
06-07 1221
背景：最近用到flink做项目，程序在线上遇到了内存持续增长最后导致OOM的问题；还有一种情况是内存增长过高，在触发GC的时候产生超长停顿使taskmanager失去心跳而导致任务失败。 OOM问题比较难查，幸亏有团队的小伙伴一起帮着查询并解决。记录一下查询过程和中间用到的内存分析工具使用方法，以前很少用到这些工具，现在频繁使用，发觉其实也不是那么高深莫测。 堆dump 首先，对于内存超高的进程进行堆dump。命令如下： jmap -dump:format=b,file=xxx pid..
【Spring Boot】高效配置管理: 易用性与灵活性并重
weixin_68020300的博客
08-07 1245
本文探讨了Spring Boot中多样化的配置读取方法及其应用场景，强调了配置管理的重要性，并展示了Spring Boot如何通过灵活多变的配置选项简化这一过程。此外，文章还展望了配置管理领域未来的技术趋势和发展方向。对于任何希望深入了解Spring Boot配置管理的开发者来说，这是一篇不容错过的好文。
C++ - 函数重载
jiaowenjie的专栏
08-06 328
/打印的是第二个函数的地址。//打印的是第一个函数的地址。-> 重载函数在本质上是相互独立的不同函数。-> 函数返回值不能作为函数重载的依据。-> 重载函数的函数类型不同。**3.函数默认参数和函数重载****函数重载的注意事项：****4.函数重载的本质**
伐木工 (100%用例)D卷 (Java&&Python&&C++&&Node.js&&C语言)
最新发布
荆赫同艺的博客
08-07 216
一根 4米长的树木，伐木工不需要切割为 2*2，省去切割成本，直接整根树木交易，为 4*1，收益最大为 4。方式二: 3,2,2,3，但方式二，伐木工多切割一次，增加了切割成本却卖了一样的价格，因此并不是最优收益。一根 2 米长的树木，伐木工不切割，为2*1，收益最大为 2。一根5 米长的树木，伐木工切割为 2*3,收益最大为 6。输出最优收益时的各个树木长度，以空格分隔，按升序排列。一根 10 米长的树木，伐木工可以切割。方式一:3,4,4，也可以切割为。
flink java.lang.OutOfMemoryError: Java heap space
03-20
当你在使用Flink时遇到"java.lang.OutOfMemoryError: Java heap space"错误时，这意味着Java堆内存不足以处理当前的任务或数据量。这通常是由于以下几个原因导致的： 1. 数据量过大：如果你的任务处理的数据量非常大，超过了Java堆内存的限制，就会导致内存溢出错误。这可能是因为你的输入数据集太大，或者你的计算逻辑导致了大量的中间数据产生。 2. 内存设置不合理：Flink的任务执行需要合理的内存配置。如果你的任务需要更多的内存来处理数据，你可以通过调整Flink的任务管理器和执行器的内存设置来解决问题。 解决这个问题的方法有以下几种： 1. 增加Java堆内存：你可以通过增加Java堆内存的大小来解决这个问题。可以通过修改Flink的启动脚本或配置文件中的相关参数来实现。例如，可以通过设置`-Xmx`参数来增加最大堆内存大小。 2. 优化任务逻辑：检查你的任务逻辑是否存在内存泄漏或者不必要的数据复制等问题。尽量减少中间数据的产生和复制，可以使用Flink提供的一些优化技术，如状态后端选择、数据本地性等。 3. 增加并行度：如果你的任务可以进行并行处理，可以尝试增加任务的并行度。这样可以将数据分散到更多的任务实例中，减少每个任务实例的内存压力。 4. 使用外部存储：如果你的数据量非常大，无法在有限的内存中处理，可以考虑使用外部存储来存储和处理数据。Flink提供了与各种外部存储系统（如Hadoop HDFS、Amazon S3等）的集成，可以将数据存储在外部存储中，并通过Flink进行处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值