Flink on Yarn三部曲之三：提交Flink任务

2401_83916204

于 2024-04-23 12:21:44 发布

阅读量779

点赞数 21

分类专栏：程序员文章标签： flink 大数据

本文链接：https://blog.csdn.net/2401_83916204/article/details/138120110

版权

程序员专栏收录该内容

551 篇文章 1 订阅

订阅专栏

《Flink on Yarn三部曲之一：准备工作》：准备好机器、脚本、安装包；
《Flink on Yarn三部曲之二：部署和设置》：完成CDH和Flink部署，并在管理页面做好相关的设置；

现在Flink、Yarn、HDFS都就绪了，接下来实践提交Flink任务到Yarn执行；

全文链接

两种Flink on YARN模式

实践之前，对Flink on YARN先简单了解一下，如下图所示，Flink on Yarn在使用的时候分为两种模式，Job Mode和Session Mode：

在这里插入图片描述

Session Mode：在YARN中提前初始化一个Flink集群，以后所有Flink任务都提交到这个集群，如下图：

在这里插入图片描述

Job Mode：每次提交Flink任务都会创建一个专用的Flink集群，任务完成后资源释放，如下图：

在这里插入图片描述

接下来分别实战这两种模式；

准备实战用的数据(CDH服务器)

接下来提交的Flink任务是经典的WordCount，先在HDFS中准备一份文本文件，后面提交的Flink任务都会读取这个文件，统计里面每个单词的数字，准备文本的步骤如下：

SSH登录CDH服务器；
切换到hdfs账号：su - hdfs
下载实战用的txt文件：

wget https://github.com/zq2599/blog_demos/blob/master/files/GoneWiththeWind.txt

创建hdfs文件夹：hdfs dfs -mkdir /input
将文本文件上传到/input目录：hdfs dfs -put ./GoneWiththeWind.txt /input

准备工作完成，可以提交任务试试了。

Session Mode实战

SSH登录CDH服务器；
切换到hdfs账号：su - hdfs
进入目录：/opt/flink-1.7.2/
执行如下命令创建Flink集群，-n参数表示TaskManager的数量，-jm表示JobManager的内存大小，-tm表示每个TaskManager的内存大小：

./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024

创建成功后，控制台输出如下图，注意红框中的提示，表明可以通过38301端口访问Flink：

在这里插入图片描述

浏览器访问CDH服务器的38301端口，可见Flink服务已经启动：

在这里插入图片描述

浏览器访问CDH服务器的8088端口，可见YARN的Application(即Flink集群)创建成功，如下图，红框中是任务ID，稍后结束Application的时候会用到此ID：

在这里插入图片描述

再开启一个终端，SSH登录CDH服务器，切换到hdfs账号，进入目录：/opt/flink-1.7.2
执行以下命令，就会提交一个Flink任务（安装包自带的WordCount例子），并指明将结果输出到HDFS的wordcount-result.txt文件中：

bin/flink run ./examples/batch/WordCount.jar \

-input hdfs://192.168.50.134:8020/input/GoneWiththeWind.txt \

-output hdfs://192.168.50.134:8020/wordcount-result.txt

执行完毕后，控制台输出如下：

在这里插入图片描述

flink的WordCount任务结果保存在hdfs，我们将结果取出来看看：hdfs dfs -get /wordcount-result.txt
vi打开wordcount-result.txt文件，如下图，可见任务执行成功，指定文本中的每个单词数量都统计出来了：

在这里插入图片描述

浏览器访问Flink页面(CDH服务器的38301端口)，也能看到任务的详细情况：

在这里插入图片描述

销毁这个Flink集群的方法是在控制台执行命令：yarn application -kill application_1580173588985_0002

在这里插入图片描述

Session Mode的实战就完成了，接下来我们来尝试Job Mode；

Job Mode

执行以下命令，创建一个Flink集群，该集群只用于执行参数中指定的任务(wordCount.jar)，结果输出到hdfs的wordcount-result-1.txt文件：
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Java）

学习分享，共勉

这里是小编拿到的学习资源，其中包括“中高级Java开发面试高频考点题笔记300道.pdf”和“Java核心知识体系笔记.pdf”文件分享，内容丰富，囊括了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。同时还有Java进阶学习的知识笔记脑图（内含大量学习笔记）！