flink 1.6.3批任务 bug fix

最新推荐文章于 2022-11-07 10:46:55 发布

lunhuasxk

最新推荐文章于 2022-11-07 10:46:55 发布

阅读量2.6k

点赞数 14

分类专栏： flink 文章标签： flink

本文链接：https://blog.csdn.net/lunhuasxk/article/details/92834971

版权

在Flink 1.6.3执行批处理任务时，若operator并行度不一致，JobManager会提前终止未完成任务，导致异常FLINK-10941。该问题已在GitHub上得到解决，但未合并到官方版本。用户可自行编译修复后的代码，使用自建的flink-dist_2.11-1.6.3-bugfix.jar。

摘要由CSDN通过智能技术生成

flink 1.6.3在执行批任务的时候，如果operator的并行度不同，有些任务执行完，jobManager直接会kill掉未完成的任务,会抛以下异常

Caused by: org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Lost connection to task manager 'zk03.td.com/172.26.125.25:34669'. This indicates that the remote task manager was lost.
        at org.apache.flink.runtime.io.network.netty.CreditBasedPartitionRequestClientHandler.exceptionCaught(CreditBasedPartitionRequestClientHandler.java:160)
        at org.apache.flink.shaded.netty4.io.netty.channel.AbstractChannelHandlerContext.invokeExceptionCaught(AbstractChannelHandlerContext.java:285)
        at org.apache.flink.shaded.netty4.io.netty.channel.AbstractChannelHandlerContext.invokeExceptionCaught(AbstractChannelHandlerContext.java:264)
        at org.apache.flink.shaded.netty4.io.netty.channel.AbstractChannelHandlerContext.fireExceptionCaught(AbstractChannelHandlerContext.java:256)
        at org.apache.flink.shaded.netty4.io.netty.c