记一次Flink任务Full gc的问题排查

最新推荐文章于 2024-11-26 09:31:02 发布
最新推荐文章于 2024-11-26 09:31:02 发布
阅读量5.5k 收藏 4
点赞数 2
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39935887/article/details/105183393
版权

最近发现flink任务vc_lark_rtc_event_job_new_test会每隔一两天会造成上游topic消费积压，后来发现是因为full gc(Full GC(Ergonomics)通过TM中的gc.log.0.current日志文件查看)频繁导致cpu飙升，造成数据处理不过来造成积压，查看Dtop监控可以看到

 

然后进入到tm中，如下图：

 

点击webshell，

 

根据进程id来获取收集器的各部分内存占用量，通过jmap -heap 进程id，如下图(由于找不到了当时的截图，所以这里用两个运行正常情况的图)

 

 

 

可以发现上面两个图中，第一个Eden和两个Survivor区的比例不是8:1:1，但是可以看到明明Su

最低0.47元/天 解锁文章
【Flink】Flink jvm参数配置GC日志
九师兄
02-02 1815
按照这个参数，每个GC日志只要超过20M就会进行分割，最多分割5个文件，文件名依次是gc.log.0,gc.log.1,gc.log.2,gc.log.3,gc.log.4, …不使用 JVM 提供的日志分割功能，而是每次启动用时间戳命名日志文件，这样可以每次启动都使用不同的文件，就不会出现覆盖的问题了。但是可能很多人配置的都不够“完美”，要么是打印的内容过少，要么是输出到控制台，要么是一个大文件被覆盖，要么是……-Xloggc 方式指定的日志文件，是覆盖写的方式，每次启动都会覆盖，历史日志会丢失。
Flink故障排查
m0_46449152的博客
03-02 1972
参考 https://www.cnblogs.com/wuchanming/p/7766994.html https://blog.csdn.net/m0_46449152/article/details/111936485 1.查看 Task Heap 是否经常达到 100% 2.查看 老年代 Full GC 发生次数 解决方法 可以使用 G1 垃圾回收器 -yD env.java.opts="-XX:+UseG1GC" 问题排查 找到 container所在的服务器 ps -ef | gre
Flink反压如何排查
百看不如一RUN
02-09 2087
Flink反压如何排查，是我们在进行flink开发以及监控的流程中必不可少的一项技能，同时也是很多大厂面试需要问题的知识点。
Flink GC/数据分发/数据倾斜/并行度问题小合集！
最新发布
微信搜：import_bigdata，大数据领域硬核原创作者
11-26 1956
今天回答几个问题。这个是一个星球同学提的，我们长话短说。适用于实际工作以及面试。文末有知识星球二维码，扫码加入。关于GC这里特指Full GC。首先Flink中的TaskManager的GC监控是一个非常重要的监控，GC频繁会导致你的任务处理速度降低，发生TM lost，任务fail over，更严重的会直接OOM，任务挂掉。一般我们通过Promethus这样的框架去监控Flink任务，最容易监控...
flink oom的gc分析
xiaosannimei的博客
05-21 1079
记一次低级错误导致的频繁Full Gc
chinamen1的博客
06-30 669
最近在Flink平台上发布了一个简单的任务，在测试环境测试时没有发现什么问题，但是线上数据增加后发生了两次Full Gc频率过高，查看了相关的监控器，发现容器内存使用超过70%，我以为是应用发布时选择参数不合理，于是重新配置了taskmanager内存和并行度。 今天测试时，又发生了相同的问题，Full Gc频率更是高达每分钟7次。这次注意到Flink平台上的流图监控界面，之前对这个平台不熟悉没能好好利用这些监控工具。从流图监控上看到写入TSDB的task几乎完全停止，数据完全缓存，更奇怪的是CPU飙升，几
Flink jvm参数配置GC日志---转载（有待实践认证）
qq_31866793的博客
06-07 2056
生产环境上，或者其他要测试 GC 问题的环境上，一定会配置上打印GC日志的参数，便于分析 GC 相关的问题。 但是可能很多人配置的都不够“完美”，要么是打印的内容过少，要么是输出到控制台，要么是一个大文件被覆盖，要么是…… 本文带你一步一步，配置一个完美的 GC 日志打印策略 打印内容 为了保留足够多的“现场证据”，最好是把 GC 相关的信息打印的足够完整。而且你的程序真的不差你GC时打印日志I/O消耗的那点性能 打印基本 GC 信息 打印 GC 日志的第一步，就是开启 GC 打印的参数了，也是
Flink 常见问题排查与任务调优实践
GavinKai
12-11 3582
Flink 问题排查 - 作业部署失败 现象：作业无法正常提交与启动 可能成因 确认方法 解决措施 程序包依赖与集群依赖存在版本冲突 日志：NoSuchMethodError/ IncompatibleClassChangeError/ ClassCastException 1.程序包中Flink/Hadoop相关依赖设为provided2.使用...
Flink任务问题分析与性能调优
qq_30708747的博客
11-01 7044
作者： 吴培坚——虎牙实时计算平台研发工程师 Flink调优对于问题的定性很重要，只有先确定问题性质才能针对性优化。首先要明白，Flink是分布式流计算框架，可简单理解为多个相互通讯的有状态java进程，其调优本质跟普通的java程序大同小异。 1.1 问题定位的基础： 只有具备良好的的监控数据支持，才能感知问题/异常的发生并对其快速定位。 监控指标主要分为以下三个维度： 1. Flink框架： 框架本身内嵌了很多方便运维...
Flink任务物理内存溢出问题定位
TripleDangClark的博客
04-09 9187
首发链接: https://www.jianshu.com/writer#/notebooks/20005301/notes/43493757 问题现象 一个使用10秒滚动窗口的任务在平稳运行一段时间之后出现了频繁的重启。在TaskManager日志中能看到以下文本： 2019-03-17 16:05:28,854 INFO org.apache.flink.yarn.YarnTaskExecu...
Flink调优
互联网知识分享
05-21 266
查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。在客户端的“conf/flink-conf.yaml”配置文件中，在“env.java.opts”配置项中添加参数：“-XX:NewRatio”。如“ -XX:NewRatio=2”，则表示老年代与新生代的比值为2:1，新生代占整个堆空间的1/3，老年代占2/3。当设置“setBufferTimeout”大于0时，缓冲区会在该"时间之后"超时，然后进行缓冲区的刷新。
Flink消费kafka写入hive，报错GC
dgbcf的博客
02-14 443
Flink消费kafka写入hive，报错GC
Flink几个性能调优
yang灬仔
10-24 1035
flink性能优化
full gc频繁有什么问题_【Flink 精选】常见的性能问题及其定位思路
weixin_39522927的博客
12-25 1403
常见的性能问题及其定位思路1.常见的性能问题（1）JSON序列化和反序列化source的序列化，sink的反序列化（2）MAP和SET的hash冲突MAP和SET的负载因子随着数据的增大而变大，使得hash冲突的几率大大增加，导致了插入和查询效率严重下降。（3）数据倾斜数据分布原理符合“二八原理”，即一般情况下数据的分布是不均匀的。如果数据分布严重不均匀，则出现数据倾斜，导致大量的数据集中在某个S...
【性能调优1】（***重点***）Flink常见内存问题及调优指南（一）
hiliang521的博客
07-29 1699
通过了解Flink性能调优的方面，积累Flink调优的常见思路，以及收集Flink常见问题的处理。
Flink实时任务性能调优
王义凯 的博客
07-09 2838
通常我们在开发完Flink任务提交运行后，需要对任务的参数进行一些调整，通常需要调整的情况是任务消费速度跟不上数据写入速度，从而导致实时任务出现反压、内存GC频繁（FullGC）频繁、内存溢出导致TaskManager被Kill。今天讲一下Flink任务中常见的性能场景及解决思路。
Flink性能调优
xiaoyixiao_的博客
02-14 6203
目录资源配置调优Task Manager内存模型分配CPU资源并行度设置状态及CheckPoint调优RocksDB大状态调优CheckPoint设置反压处理数据倾斜处理Job优化FlinkSQL调优常见故障排除 资源配置调优 资源配置概述 Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定 官
Flink总结-设置Jvm参数
LzwGlory的专栏
03-12 6057
jvm设置 http://www.360doc.com/content/12/1023/16/9615799_243296263.shtml 堆设置 -Xms :初始堆大小 -Xmx :最大堆大小 -XX:NewSize=n :设置年轻代大小 -XX:NewRatio=n: 设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4 -XX:Sur...
flink排查反压的问题
06-09
在Flink中，反压（Backpressure）是指当数据生产速度超过数据消费速度时，消费端不能及时处理全部数据，导致未处理的数据在系统中积压，从而影响系统的性能和稳定性。如果Flink应用程序中存在反压问题，可以通过以下几个步骤来进行排查和解决： 1. 监控Flink任务的运行状态。可以通过Flink的Web界面或者JMX监控工具来查看任务的运行状态、吞吐量、延迟等指标，从而了解是否存在反压问题。 2. 调整Flink任务的并行度。如果任务的并行度过低，可能会导致某些算子的处理速度过慢，从而引起反压问题。可以通过增加算子的并行度或者调整任务的并行度来缓解反压问题。 3. 调整算子的处理逻辑。如果算子的处理逻辑过于复杂或者存在性能瓶颈，可能会导致算子处理速度过慢，从而引起反压问题。可以通过优化算子的处理逻辑、使用异步IO等方式来提高算子的处理速度。 4. 使用Flink的反压机制。Flink提供了反压机制来解决反压问题，可以通过设置ExecutionConfig.setAutoWatermarkInterval()方法来开启反压机制。反压机制会根据算子的处理速度来自动调整生产数据的速度，从而避免数据积压和反压问题。 5. 使用Flink的流控机制。Flink还提供了流控机制来限制数据的生产和消费速度，从而避免反压问题。可以通过设置ExecutionConfig.setLatencyTrackingInterval()方法来开启流控机制。流控机制会根据数据的延迟来调整生产和消费数据的速度，从而保证系统的稳定性和性能。 通过以上几个步骤可以排查和解决Flink应用程序中的反压问题。需要注意的是，反压问题是一个非常常见的问题，需要在设计和编写Flink应用程序时充分考虑并发和性能问题，从而避免反压问题的出现。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值