Flink-HighAviliability(高可用)

Flink-HighAviliable

Flink可以部署在不同的集群管理器上，如：

• yarn
• k8s
• standalone
• Mesos

本篇主要简单介绍在standalone与yarn部署模式下的HA的简单实践，后续会持续添加其他模式的HA

1-standalone

第一步：修改flink-conf.yaml,masters,slaves配置文件

masters

#指定JobManager节点
shufang101:8081
shufang102:8081

slaves

#指定TaskManager节点
shufang101
shufang102
shufang103

Flink-conf.yaml

#指定初始化的jobmanager配置
jobmanager.rpc.address: shufang101 
jobmanager.rpc.port: 6123
high-availability: zookeeper
high-availability.storageDir: hdfs://flow/flink/ha/
high-availability.zookeeper.quoram: shufang101:2181,shufang102:2181....
high-availability.zookeeper.client.acl: open
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /cluster_one

第二步：将所有配置文件通过scp或者rsync分发到不同的脚本

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环同步
for((host=101; host<104; host++)); do
        echo --------------------- shufang$host ----------------
        rsync -rvl $pdir/$fname $user@shufang$host:$pdir
done

第三步：启动flink集群

2-yarn

第一步：修改yarn-site.xml添加如下配置信息

<!-- vim yarn-site.xml -->

<property>
	<name>yarn.resourcemanager.am.max-attempts</name>
  <value>4</value>
  <description>配置提交的应用程序最大的尝试次数</description>
</property>

第二步：分发该配置文件到其他节点上

–通过以上的xsync.sh脚本进行分发，或者原生的scp

第三步：修改flink-conf.yaml配置文件

high-avaliability: zookeeper
high-avaliability.zookeeper.quorum: shufang101:2181,shufang102:2181,shufang103:2181
high-avaliability.storageDir: hdfs://flow/flink/ha-yarn
high-avaliability.zookeeper.path.root: /flink-yarn
yarn.application-attempt: 4

第四步：启动hadoop分布式集群

第五步：启动yarn-session，并验证

bin/yarn-session.sh -h #可以通过该命令查看yarn-session的命令配置参数

#这步实际上是预先在yarn的资源中开辟出一个session的资源空间，前期条件是flink必须是带有hadoop支持的
bin/yarn-session.sh 
-n（--container） 2  #taskmanager的数量
-s (--slots) 2  #taskmanager的slot数量
-jm 1024 #jobmanager的内存
-tm 1024 #taskmanager的内存
-nm test #出现在yarn界面上的名字-AppName
-d #后台运行
#开启完之后就可以提交作业了

#手动kill yarn session常驻进程
sbin/yarn application -kill application_id

第六步：验证进程

YarnSessionClusterEntryPoint #JobManager的进程

//