flink实战--Application模式下java程序将flink任务提交到yarn集群

阿华田512

已于 2024-01-19 17:18:23 修改

阅读量3.2k

点赞数 1

分类专栏： Flink学习必读系列文章标签： flink flink任务提交 Application模式大数据

于 2021-01-19 19:42:42 首次发布

本文链接：https://blog.csdn.net/aA518189/article/details/112850398

版权

Flink学习必读系列专栏收录该内容

70 篇文章 561 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何通过Java程序将Flink任务以Application模式提交到YARN集群，包括配置文件的准备、任务参数设置、依赖jar的处理等步骤，并提供了相关代码示例。

摘要由CSDN通过智能技术生成

简介

对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新增加的部署模式Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。

程序提交flink任务的步骤

第一步：引入相关的配置到classpath里

如果是maven工程直接放在resource目下即可

core-site.xml
hdfs-site.xml
yarn-site.xml

第二步：定义相关配置参数

  //flink的本地配置目录，为了得到flink的配置
  String configurationDirectory = "/Users/user/work/flink/conf/";
  //存放flink集群相关的jar包目录
  String flinkLibs = "hdfs://hadoopcluster/data/flink/libs";
  //用户jar
  Stri

了解本专栏