Flink运行在yarn上

在一个企业中，为了最大化的利用集群资源，一般都会在一个集群中同时运行多种类型的 Workload。因此 Flink 也支持在 Yarn 上面运行；

flink on yarn的前提是：hdfs、yarn均启动

修改hadoop的配置参数

vim etc/hadoop/yarn-site.xml

 <property>             
      <name>yarn.nodemanager.vmem-check-enabled</name>            
      <value>false</value>   
</property>  

是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。

在这里面我们需要关闭，因为对于flink使用yarn模式下，很容易内存超标，这个时候yarn会自动杀掉job

修改全局变量/etc/profile

vim /etc/profile

export HADOOP_CONF_DIR=/opt/cdh/hadoop/etc/Hadoop

YARN_CONF_DIR或者HADOOP_CONF_DIR必须将环境变量设置为读取YARN和HDFS配置

使用flink on yarn提交任务

在YARN上启动一个Flink主要有两种方式：

(1)、启动一个YARN session(Start a long-running Flink cluster on YARN)；

(2)、直接在YARN上提交运行Flink作业(Run a Flink job on YARN)

这种模式下会启动yarn session，并且会启动Flink