Flink on yarn执行Wordcount
一、写在前面
以Yarn模式部署Flink任务时,要求Flink是有 Hadoop 支持的版本,Hadoop 环境需要保证版本在 2.2 以上,并且集群中安装有 HDFS 服务。
二、实验环境
- 本机:win 10 专业版;
- WSL:Ubuntu 20.04 TS;
- docker:19.03
- Hadoop:2.7.4
- zookeeper:3.4.9
- Flink:1.7.2
三、两种在 yarn 上运行的模式
3.1 Session-cluster 模式
Session-Cluster 模式需要先启动集群,然后再提交作业,接着会向 yarn 申请一 块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到 yarn 中的其中一个作业执行完成后,释放了资源,下个作业才会正常提交。所有作 业共享 Dispatcher 和 ResourceManager;共享资源;适合规模小执行时间短的作业。
执行步骤