Flink三种提交方式

最新推荐文章于 2024-08-08 13:30:27 发布

爱学习的菜鸟罢了

最新推荐文章于 2024-08-08 13:30:27 发布

阅读量7.9k

点赞数 1

分类专栏： java 大数据 flink 文章标签： flink hdfs big data

本文链接：https://blog.csdn.net/qq_34387470/article/details/121045592

版权

本文介绍了Flink在YARN环境下的三种提交任务方式：YARN session，YARN PerJob以及YARN Application模式。Application模式支持在YARN和K8s上部署，并可以通过-D参数自定义配置。文中还提供了应用模式下提交和杀死YARN作业的命令示例。

摘要由CSDN通过智能技术生成

第一种方式：YARN session

操作步骤	说明
1	yarn-session.sh(开辟资源)+flink run(提交任务)
	这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和Task-managers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.2，而且必须安装了HDFS（因为启动YARN session的时候会向HDFS上提交相关的jar文件和配置文件）通过./bin/yarn-session.sh脚本启动YARN Session 脚本可以携带的参数：
	-n(--container)：TaskManager的数量。(1.10 已经废弃) -s(--slots)：每个TaskManager的slot数量，默认一个slot一个core，默认每个taskmanager的slot的个数为1，有时可以多一些taskmanager，做冗余。 -jm：JobManager的内存（单位MB)。 -q：显示可用的YARN资源（内存，内核）; -tm：每个TaskManager容器的内存（默认值：MB） -nm：yarn 的appName(现在yarn的ui上的名字)。 -d：后台执行。
	注意：如果不想让Flink YARN客户端始终运行，那么也可以启动分离的 YARN会话。该参数被称为-d或--detached。
	确定TaskManager数： Flink on YARN时，TaskManager的数量就是：max(parallelism) / yarnslots（向上取整）。例如，一个最大并行度为10，每个TaskManager有两个任务槽的作业，就会启动5个TaskManager。
2	去yarn页面：ip:8088可以查看当前提交的flink session
3	停止当前任务：
	yarn application -kill application_1527077715040_0007