在flink on yarn模式中,flink yarn-session的两种提交方式
1.公用一个yarn-session
在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止。
2.每个job提供一个集群环境
下面以spark-session 案例,简单讲解:
启动运行环境:
实际案例:
1)我们启动Yarn:
这个时候web端是没有任务的
2)我们启动一个yarn session(类似预先规定好了资源,然后任务在这里面运行,资源是固定的):
./bin/yarn-session.sh -n 4 -jm 2048 -tm 4096 -s 2 -d
启动效果: