Flink 测试运行，遇到的GC跟taskmanager挂掉问题

最新推荐文章于 2024-11-26 09:31:02 发布

黄瓜炖啤酒鸭

最新推荐文章于 2024-11-26 09:31:02 发布

阅读量3.1k

点赞数

分类专栏： Flink 文章标签： Flink tm挂掉大数据

本文链接：https://blog.csdn.net/qq_31866793/article/details/106681317

版权

Flink 专栏收录该内容

134 篇文章 17 订阅

订阅专栏

1，出现这个，因为代码写的是Json类型，算子与算子之间下发json对象，没有序列化，都改成pojo 实现序列化，可以减轻内存消耗

2，因为有个业务是全量统计，会存储历史状态，所以内存要设置大一点，设置

RocksDBStateBackend存储，设置TTL，之前可能压力测试3个小时TM就死了，再次测试 超过十几个小时任务都还比较稳定

3，安装JVM工具监控JVM的情况，并且在conf文件配置参数

env.java.opts: -Xloggc:/wyyt/logs/flink-1.10.0/gc.log -XX:+PrintGCApplicationStoppedTime -XX:+PrintGCDetails -XX:-OmitStackTraceInFastThrow -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=20 -XX:GCLogFileSize=20M -XX:+PrintPromotionFailure -XX:+PrintGCCause

注：指定输出日志的时候一定要注意权限问题

4，针对对象的序列化或者Avro Kryo等等，具体参考官网的PDF：