Flink on Yarn （HA）高可用部署 基于flink1.12 CDH5.8.5 保姆级操作

Flink on Yarn -CDH5部署

公司之前想上实时数仓，当时写了个部署文档，想着有的兄弟可能会用得到，脱敏之后公布出来。
依据现有的大数据集群（CDH5.8.5），搭建3个节点得flink集群，统一交给yarn来管理，并搭建高可用。

1.1 Flink模式

Flink有开发模式，Local-cluster模式，Standalone模式，Yarn模式
这里我们搭建在CDH集群上，我们采Flink on Yarn，由Yarn统一管理集群资源

1.2 Yarn模式部署

​ 独立部署（Standalone）模式由Flink自身提供计算资源，无需其他框架提供资源，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。

​ 但是Flink主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还选择Yarn模式。把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会申请容器从Yarn的NodeManager上面. Flink会创建JobManager和TaskManager在这些容器上.Flink会根据运行在JobManger上的job的需要的slot的数量动态的分配TaskManager资源

1.2.1 Yarn模式配置

1. 下载Flink1.12.0的安装包
   https://archive.apache.org/dist/flink/flink-1.12.0/
   

2. 上传到/opt目录下，解压，重命名

   mv fink-1.12.0 flink-yarn
   

3. 配置环境变量HADOOP_CLASSPATH和HADOOP_CONF_DIR。
   新建/etc/profile.d/my.sh文件，并在其中添加配置

   export HADOOP_CLASSPATH=`hadoop classpath`
   export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn/
   

   分发环境变量到要安装的3个节点上，并分别执行如下命令，使之生效

   	source /etc/profile.d/my.sh
   

1.2.2 Yarn模式高可用

Yarn模式的高可用和Standalone模式的高可用原理不一样。

​ Standalone模式中, 同时启动多个Jobmanager, 一个为leader其他为standby的, 当leader挂了, 其他的才会有一个成为leader。（依赖）

​ yarn的高可用是同时只启动一个Jobmanager, 当这个Jobmanager挂了之后, yarn会再次启动一个, 其实是利用的yarn的重试次数来实现的高可用.

1. 登录CDH管理客户端，进入yarn配置，搜索框输入：max-attempts，将ApplicationMaster重试次数修改为4
   

2. 回到主页面重启相关的组件
   

3. 在flink-conf.yaml中添加配置

   yarn.application-attempts: 3
   high-availability: zookeeper
   high-availability.storageDir: hdfs://xxx:8020/flink/yarn/ha
   high-availability.zookeeper.quorum: cm.xxx:2181,mn1.xxx:2181,mn2.xxx:2181
   high-availability.zookeeper.path.root: /flink-yarn
   high-availability.cluster-id: /cluster_flink_yarn
   

4. 修改bin/yarn-session.sh，添加配置

#操作hdfs的用户

export HADOOP_USER_NAME=hdfs

5. 将/opt/flink-yarn/ 文件夹同步到另外2台节点上

6. 在其中一台启动yarn-session

   bin/yarn-session.sh -d 
   

7. 启动一个编写好的任务。/opt/flink-yarn目录下jar包已上传
   一个窗口使用9899端口发送数据
   

进入/opt/flink-yarn目录下启动任务

bin/flink run -c com.along.pratice.BoundedStreamWorldCount ./flink01-1.0-SNAPSHOT.jar

8. 根据提示访问Flink页面
   

9. 产看任务运行结果
   

10. 验证高可用
    打开yarn webUI，查看任务列表，找到Flink session cluster，查找JobManager进程所在的节点
    

进入任务.可知在dn3上

连接dn3，输入jps命令

29618 YarnSessionClusterEntrypoint

杀掉29618进程

[root@dn3 ~]# kill -9 29618

​ 刷新任务页面

连接dn2，发现JobManager进程YarnSessionClusterEntrypoint已经启动

root@dn2 ~]# jps
5376 Application
23378 YarnChild
26676 YarnSessionClusterEntrypoint