flink on yarn提交任务的两种方式

flink on yarn提交任务的两种方式

flink on yarn 有两种提交方式：

(1)、启动一个YARN session(Start a long-running Flink cluster on YARN)；

(2)、直接在YARN上提交运行Flink作业(Run a Flink job on YARN)。

 

       简单bb两句，其实很好理解，一种是yarn-cluster，就是一个把flink当成了一个application，就是一个job，在yarn上可以管理，flink任务之间互相是独立的

另一种是yarn-session，就是把首先启动一个yarn-session当成了一个flink容器，官方说法是flink服务，然后我们提交到yarn上面的全部flink任务全部都是提交到这个服务，也就是容器里面进行运行的。flink任务之间也是独立的，但是都存在于flink服务即容器里面，yarn上只能监测到一个flink服务即容器，无法监测到flink单个任务，需要进入flink服务即容器内部，才可以看到。

 

下面将分别进行介绍。

Flink YARN Session

　　这种模式下会启动yarn session，并且会启动Flink的两个必要服务：JobManager和TaskManagers，然后你可以向集群提交作业。同一个Session中可以提交多个Flink作业。需要注意的是，这种模式下Hadoop的版本至少是2.2，而且必须安装了HDFS（因为启动YARN session的时候会向HDFS上提交相关的jar文件和配置文件）。我们可以通过./bin/yarn-session.sh脚本启动YARN Session，由于我们第一次使用这个脚本，我们先看看这个脚本支持哪些参数：

./bin/yarn-session.sh Usage:    Required      -n,--container <arg>   Number of YARN container to allocate (=Number of Task Managers)    Optional      -D <arg>                        Dynamic properties      -d,--detached                   Start detached      -jm,--jobManagerMemory <arg>    Memory for JobManager Container [in MB]      -nm,--name <arg>                Set a custom name for the application on YARN      -q,--query                      Display available YARN resources (memory, cores)      -qu,--queue <arg>               Specify YARN queue.      -s,--slots <arg>                Number of slots per TaskManager      -st,--streaming                 Start Flink in streaming mode      -tm,--taskManagerMemory <arg>   Memory pe