flink实战--flink on yarn

阿华田512

已于 2024-08-22 17:51:02 修改

阅读量5.8k

点赞数 7

于 2018-10-31 14:59:53 首次发布

本文链接：https://blog.csdn.net/aA518189/article/details/83583392

版权

Flink学习必读系列专栏收录该内容

70 篇文章 561 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了Flink on YARN的配置步骤，包括设置HADOOP_CONF_DIR环境变量，修改flink-conf.yaml配置，解决提交任务时的NoClassDefFoundError问题，以及Flink GC的开启。同时，文章讲解了Flink在YARN上的运行模式，特别是Yarn Cluster模式下的任务提交流程，以及JobManager的高可用配置。此外，还讨论了Flink启动TaskManager的个数判断、slot与parallelism的关系和配置。

摘要由CSDN通过智能技术生成

Flink on yarn 配置

如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置

第一步：设置 HADOOP_CONF_DIR环境变量

export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/

注意：如果在flink的配置文件中设置Hadoop的环境变量，可以不在环境变量设置，只需要在配置文件中添加：

env.yarn.conf.dir: /usr/local/service/hadoop/etc/hadoop

如果出现下面的错误日志

Retrying connect to server: 0.0.0.0/0.0.0.0:8032. 
Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1

了解本专栏