【Flink】Flink 写入 Clickhouse 大对象直接进入老年代 导致OOM

已于 2024-08-04 13:57:30 修改
阅读量662 收藏 2
点赞数
分类专栏： 2025最新-大数据-flink 2025最新-clickhouse 文章标签： flink kafka 大数据
于 2021-11-04 21:09:48 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120447414
版权
2025最新-大数据-flink 同时被 2 个专栏收录
854 篇文章 873 订阅 ¥99.90 ¥299.90
订阅专栏
2025最新-clickhouse
139 篇文章 643 订阅 ¥19.90 ¥99.00
订阅专栏
博主九师兄分析了使用Flink通过HTTP方式写入Clickhouse时遇到的大对象导致的内存溢出（OOM）问题。问题源于大量数据直接进入老年代，且由于网络问题、Kafka缓存和重试机制，加剧了内存压力。解决方案包括调整NettyClient配置、减少并行度、优化重试机制等。
摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章目录


在这里插入图片描述

1.概述

事情是这样的。使用开源的修改 https://github.com/ivi-ru/flink-clickhouse-sink flink http方式写入Clickhouse.

开始数据量小了没问题，最后数据量大了就会频繁OOM. 然后经过很长时间的排查

开始的现象是：【Flink】kafka Response from server for which there are no in-flight requests NETWORK_EXCEPTION

不是ck写入失败导致的因此和最新的代码没有什么关系

  1. 网络问题 您收到了 NETWORK_EXCEPTION，所以这应该告诉您与您生产的 Kafka Broker 的网络连接有问题。由于某种原因，代理关闭或 TCP 连接关闭。
  2. 出现了奇
了解本专栏 订阅专栏 解锁全文
Flink 写入 ClickHouse 大对象导致内存溢出（OOM）的解决方案
2301_79367634的博客
08-21 662
在使用 Flink 写入 ClickHouse 大对象时，需要注意内存溢出的问题。在大数据处理中，Apache Flink 是一个广泛使用的流处理框架，而 ClickHouse 是一个高性能的列式数据库。这是因为 Flink 默认将数据保存在内存中，而大对象可能会占用大量的内存空间，导致堆内存溢出。调整 ClickHouse 配置：增加 ClickHouse 实例的内存限制，以适应大对象的存储。数据压缩：使用 ClickHouse 提供的数据压缩功能，减少数据在存储和传输过程中的内存占用。
Flink 写入 ClickHouse 大数据导致内存溢出问题的解决方案
DevEnigma的博客
08-12 511
对于Flink写入ClickHouse时可能出现的内存溢出问题，我们可以通过优化写入逻辑，将大对象拆分成小块进行批量写入，以减少每次写入的内存占用。然而，在实际中，我们经常会遇到一些挑战，比如当我们使用Flink将大对象写入ClickHouse时可能会导致内存溢出（OOM）的问题。当大量的大对象写入ClickHouse时，老年代的内存可能会被耗尽，从而导致OOM错误的发生。为了解决这个问题，我们可以通过优化Flink的写入逻辑，将大对象拆分成小块进行批量写入，以减少每次写入的内存占用。
Flink写入 Clickhouse
jzy1210的专栏
08-14 2650
一、背景 每天上百亿的日志数据实时查询是个挑战，在架构设计上采用了Kafka + Flink + Clickhouse+Redash，实现海量数据的实时分析。计算层，我们开发了基于Flink计算引擎的实时数据平台，简化开发流程，数据通过配置化实现动态Schema生成，底层数据解析统一，无需重复造轮子，整个数据链路，从数据的采集，转换，存储，可视化，无需写一行代码，配置化完成。本文主要介绍实时日志数据写入Clickhouse的实践。 Flink Clickhouse Sink 1 2
基于Flink+ClickHouse打造轻量级点击流实时数仓
LittleMagic's Blog
09-27 2377
前言 今天事情又比较多，写得言简意赅一些，看官勿怪。 Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。 点击流及其维度建模 所谓点击流（click stream），就是指用户访问网站、App等W...
Flink写入数据到ClickHouse
a805814077的博客
07-04 2449
使用Flink将流式数据写入到ClickHouse
Flink：ClickHouse
最新发布
大连赵哥的博客
09-22 940
Flink：ClickHouse
flink写clickhouse
zhdan~的专栏
12-13 3627
flink写clickhouse
【java】为什么大对象要直接放入到老年代
九师兄
08-03 132
假设大对象最后会晋升老年代，而新生代是基于复制算法来回收垃圾的，由两个Survivor区域配合完成复制算法，如果新生代中出现大对象且能屡次躲过GC，那这个对象就会在两个Survivor区域中来回复制，直至最后升入老年代，而大对象在内存里来回复制移动，就会消耗更多的时间。假设大对象最后不会晋升老年代，新生代空间是有限的，在新生代里的对象大部分都是朝生夕死的，如果让一个大对象占据了新生代空间，那么相比起正常的对象被分配在新生代，大对象无疑会让新生代GC提早发生。
【netty】netty HashedWheelTimer 延时队列
九师兄
01-04 576
1.概述 想要研究这个是因为 【Flink】Flink 写入 Clickhouse 大对象直接进入老年代 导致OOM 遇到了这个问题。 在这个问题中，我将时间轮改小了 时间轮 512改成16个 Netty中提供的HashedWheelTimer时间轮算法的也是延迟队列一种。这个类用来计划执行非精准的I/O超时。 1.1 结构模型 下方图示阐述了大致的结构模型 2.类介绍 2.1 构造方法 public HashedWheelTimer( ThreadFactory thr.
使用Flink写clickhouse
qq_38363255的博客
06-10 1649
<dependencies> <!-- Apache Flink dependencies --> <!-- These dependencies are provided, because they should not be packaged into the JAR file. --> <dependency> <groupId>org.apache.flink&...
【Flink】【ClickHouse】写入流式数据到ClickHouse
Zsigner的博客
10-24 4078
Flink 安装的教程就不在这里赘叙了，可以看一下以前的文章,这篇文章主要是把流式数据写入的OLAP（ClickHouse）中作查询分析 Flink 1.13.2, ClickHouse22.1.3.7
Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】
weixin_38251332的博客
01-29 1631
RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。
风控系统，Flink+Clickhouse实现！
石杉的架构笔记
07-20 2955
599元特惠价原价1899元的《互联网大厂的企业级风控系统项目实战》=== 课程介绍===| SparkStreaming企业级项目实战-金融风控风控的的风控等级，在实际项目中分为警告和风险两个等级。当达到风险等级时，会触发发短信给用户进行提醒的机制。基于用户登录和操作的规则业务讲解业务流程开发SparkStreaming 整合 0.8 kafka 如何在生产环...
Flink处理kafka数据再写入到ClickHouse
Oz_Mood的博客
03-20 1556
使用Flink消费Kafka的dwd层数据，监控order_status字段为已退款的数据,将数据存入ClickHouse数据库shtd_result的order_master表中，然后在Linux的ClickHouse命令行中根查询出前5条。3.将数据addSink到ClickHouse中。1.配置ClickHouse JDBC配置。2.对ClickHouse执行的SQL语句。
流计算 Oceanus | 巧用 Flink 构建高性能 ClickHouse 实时数仓
cloudbigdata的博客
12-29 4102
令 Flink 与 ClickHouse 各取所长，构造高质量、高效率、面向未来的数仓平台。
Flink+ClickHouse点击流实时数仓实践经验
GavinKai
11-04 1360
Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。 点击流及其维度建模 所谓点击流（click stream），就是指用户访问网站、App等Web前端时在后端留下的轨迹数据，也是流量分析（traffic analysis）和用户行为分析（user behavior analysis）的基础。点击流数据一般以访问日志和埋点日志的形式存储，其特点是量大、维度丰富。以我们一个中等体量的普通电
ClickHouse 与 Flink 整合：流处理与时间序列分析
AI天才研究院
01-11 1464
1.背景介绍 时间序列数据是指以时间为维度、数值为值的数据，是目前互联网、物联网、金融、制造业等各个领域中最为重要的数据类型之一。随着大数据技术的发展，时间序列数据的存储、查询、分析、预测等方面都需要高效、高性能的解决方案。 ClickHouse 是一个高性能的列式数据库，专门用于存储和分析时间序列数据。它的设计哲学是“速度优先”，通过将数据存储为列而非行，以及采用列式存储和压缩技术，使得查询...
Flink任务OOM问题
qq_32068809的博客
04-13 5377
当我们要读取大表时，例如hive表，很容易出现task内存不够用的情况，当这种情况出现时，任务可能会报出GC异常或者TaskManager心跳异常等，如下： 1、java.lang.OutOfMemoryError: GC overhead limit exceeded 2、java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id 【containerID】 timed out. 这时我们可以观察TaskMana
2024年大数据最新使用flink的standalone模式同步Kafka的数据到clickhouse(2)，有大数据开发基础学大数据开发
2401_84591685的博客
05-14 793
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; impor
flink sql怎么写入clickhouse
09-13
4. 将Flink Clickhouse Sink添加到Flink程序中：在Flink程序中添加Flink Clickhouse Sink，将流数据写入Clickhouse。 ### 回答2： 要将Flink SQL写入ClickHouse，可以按照以下步骤进行操作： 1. 首先，确保你已经...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值