flink on yarn常见问题及解决方法汇总

风_间

已于 2023-04-23 13:38:47 修改

阅读量5k

点赞数 1

分类专栏：案例&踩坑文章标签： flink 大数据 yarn

于 2022-10-26 10:01:16 首次发布

本文链接：https://blog.csdn.net/weixin_45399602/article/details/127526911

版权

22 篇文章

订阅专栏

博客主要介绍了Flink在YARN集群中运行时的常见报错及解决办法。如资源不足报错，需加大YARN资源并重启；超时错误可调整yarn和job内存；缺少资源可在配置文件添加配置；无法分配插槽可减少并发度或内存；缺少连接依赖和客户端，可在lib文件添加相应jar包。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这个报错很明显，告诉你yarn集群的资源不足了，需要手动加大资源

加大后重启YARN cluster

yarn资源不足的问题

①调整yarn

yarn-site.xml

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>26624</value>
</property>

②调整分配给job的内存
可以通过启动命令的参数调整

没有可用的资源了
flink的安装目录下：/conf/flink-conf.yaml 添加如下配置：

taskmanager.network.memory.fraction: 0.1
taskmanager.network.memory.min: 268435456
taskmanager.network.memory.max: 4294967296

这种错误一般是 hadoop 集群资源（内存、磁盘、虚拟内存等等）不足造成的。
并且多数情况是由于分配的虚拟内存超出限制，可以关掉hadoop的检查虚拟内存，如下

<property>    
    <name>yarn.nodemanager.vmem-check-enabled</name>    
    <value>false</value>    
</property>

无法在插槽请求超时内分配所需的插槽
解决：减少并发度或减少内存

原因是flink lib文件中缺少连接kafka的依赖
解决：在lib 文件中加 flink-connector-kafka_2.12-1.14.4.jar 替换相应的版本即可

原因是缺少kafka client
解决：在lib 文件中加 kafka-clients-2.4.1.jar 替换替换相应的版本即可

以后遇到问题再持续更新。