Flink on Yarn三部曲之一：准备工作

》]( )

3. 《Flink on Yarn三部曲之三：提交Flink任务》

关于Flink on Yarn

除了常见的standalone模式，Flink还支持将任务提交到Yarn环境执行，任务所需的计算资源由Yarn Remource Manager来分配，如下图(来自Flink官网)：

因此需要搭建一套Yarn环境，通过CDH部署Yarn、HDFS等服务是常见方式，接下来就采用此方式来部署；

部署方式

ansible是常用的运维工具，可以大幅度简化整个部署过程，接下来会使用ansible来完成部署工作，如果您对ansible还不够了解，请参考《ansible2.4安装和体验》,部署操作如下图所示，在一台安装了ansible的电脑上运行脚本，由ansible远程连接到一台CentOS7.7的服务器上，完成部署工作：

硬件准备

1. 一台可以运行ansible的电脑，我这里用的是MacBook Pro，也用CentOS验证过，都可以顺利完成部署；

2. 一台CentOS7.7的电脑用于运行Yarn和Flink(文中的CDH服务器就是指该电脑)，为了操作简单，本次实战将CDH、Yarn、HDFS、Flink都部署在这一台机器上，实测发现，此电脑CPU至少要双核，内存不低于16G，如果您想用多台电脑部署CDH，建议自行修改ansible脚本来分别部署，脚本地址后面会给出；

软件版本

1. ansible电脑操作系统：macOS Catalina 10.15(实测用CentOS也能成功)

2. CDH服务器操作系统：CentOS Linux release 7.7.1908

3. cm版本：6.3.1

4. parcel版本：5.16.2

5. flink版本：1.7.2

注意：因为flink需要hadoop2.6版本，所以parcel选择了5.16.2，这里面对应的hadoop是2.6版

CDH服务器设置

需要登录CDH服务器执行以下设置：

1. 检查/etc/hostname文件是否正确，如下图：

2. 修改/etc/hosts文件，将自己的IP地址和hostname配置上去，如下图红框所示（事实证明这一步很重要，如果不做可能导致在部署时一直卡在"分配"阶段，看agent日志显示agent下载parcel的进度一直是百分之零）：

下载文件(ansible电脑)

本次实战要准备13个文件，如下表所示(后面会给出每个文件的获取方式)：

| 编号 | 文件名 | 简介 |

| — | — | — |

| 1 | jdk-8u191-linux-x64.tar.gz | Linux版的jdk安装包 |

| 2 | mysql-connector-java-5.1.34.jar | mysql的JDBC驱动 |

| 3 | cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm | cm的server安装包 |

| 4 | cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm | cm的daemon安装包 |

| 5 | cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm | cm的agent安装包 |

| 6 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel | CDH应用离线安装包 |

| 7 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha | CDH应用离线安装包sha验证码 |

| 8 | flink-1.7.2-bin-hadoop26-scala_2.11.tgz | flink安装包 |

| 9 | hosts | ansible用到的远程主机配置，里面记录了CDH6服务器的信息 |

| 10 | ansible.cfg | ansible用到的配置信息 |

| 11 | cm6-cdh5-flink1.7-single-install.yml | 部署CDH时用到的ansible脚本 |

| 12 | cdh-single-start.yml | 初次启动CDH时用到的ansible脚本 |

| 13 | var.yml | 脚本中用到的变量都在在此设值，

例如CDH包名、flink文件名等，便于维护 |

下面是每个文件的下载地址：

1. jdk-8u191-linux-x64.tar.gz：Oracle官网可下，另外我将jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上传到csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987

2. mysql-connector-java-5.1.34.jar：maven中央仓库可下，另外我将jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上传到csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987

3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel

7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 （下载完毕后，将扩展名从.sha1为.sha）

8. flink-1.7.2-bin-hadoop26-scala_2.11.tgz：http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26-scala_2.11.tgz

9. hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、var.yml ：这五个文件都保存在我的GitHub仓库，地址是：https://github.com/zq2599/blog_demos ，这里面有多个文件夹，上述文件在名为ansible-cm6-cdh5-flink172-single的文件夹中，如下图红框所示：

文件摆放(ansible电脑)

如果您已经下载好了上述13个文件，请按照如下位置摆放，这样才能顺利完成部署：

1. 在家目录下新建名为playbooks的文件夹：mkdir ~/playbooks

2. 把这五个文件放入playbooks文件夹：hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、vars.yml

3. 在playbooks文件夹里新建名为cdh6的子文件夹；

4. 把这八个文件放入cdh6文件夹(即剩余的八个)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、flink-1.7.2-bin-hadoop26-scala_2.11.tgz

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

如果觉得本文对你有帮助的话，不妨给我点个赞，关注一下吧！

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
mg-WPrWJX26-1713376304638)]

[外链图片转存中…(img-lt1oYocA-1713376304639)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！