Flink on yarn

Flink on yarn

1.flink 与 yarn 的交互

2.配置

关闭yarn的内存检查，yarn-site.xml。并分发给其他节点。

<property>
	<name>yarn.nodemanager.pmem-check-enabled</name>
	<value>false</value>
</property>
<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>

是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。在这里面我们需要关闭，因为对于flink使用yarn 模式下，很容易内存超标，这个时候yarn会自动杀掉job。

3.Session模式

特点：需要事先申请资源，启动JobManager和TaskManger
优点：不需要每次递交作业申请资源，而是使用已经申请好的资源，从而提高执行效率
缺点：作业执行完成以后，资源不会被释放，因此一直会占用系统资源应用场景：适合作业递交比较频繁的场景，小作业比较多的场景
实现模式：yarn-session.sh(开辟资源)+flinkrun(提交任务)

• 在yarn上启动一个Flink会话，执行以下命令：

 yarn-session.sh-n2-tm 800 -s1-d  

说明:
1.-n表示申请2个容器，这里指的就是多少个taskmanager
2.-tm表示每个TaskManager的内存大小
3.-s表示每个TaskManager的slots数量
4.-d表示以后台程序方式运行

• 提交任务

flinkrun/usr/software/flink-1.13.0/examples/batch/WordCount.jar

在yarn的8088界面可以看到Flinksessioncluster正在运行。

• 关闭yarn会话

yarn application-killapplication_id 

4.Per-job模式

特点：每次递交作业都需要申请一次资源
优点：作业运行完成，资源会立刻被释放，不会一直占用系统资源
缺点：每次递交作业都需要申请资源，会影响执行效率，因为申请资源需要消耗时间
应用场景：适合作业比较少的场景、大作业的场景
实现模式：直接提交job

flink run -m yarn-cluster -yjm 1024 -ytm 1024 /usr/software/flink-1.13.0/examples/batch/WordCount.jar

说明:
1.-m jobmanager的地址
2.-yjm1024 指定jobmanager的内存信息
3.-ytm1024 指定taskmanager的内存信息