CDH中安装flink

CDH安装flink

1、环境说明
cdh ，maven，jdk，flink。正常情况下我jdk和cdh已经安装完成，我们只需要安装maven。Flink我们需要自己制作。其他的安装过程不在此叙述。

2、flink-parcel的制作
（1）下载制作工具git clone https://github.com/pkeropen/flink-parcel.git，完成后会有一个flink-parcel的包。

（2）修改配置文件

 cd flink-parce
vim flink-parcel.properties

配置文件如下：

#FLINK 下载地址
FLINK_URL=https://dlcdn.apache.org/flink/flink-1.13.2/flink-1.13.2-bin-scala_2.11.tgz                      #版本号自己修改，改完后试试链接可以下载不
#flink版本号
FLINK_VERSION=1.13.2       #改成自己的版本
#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.11     #同上
#操作系统版本，以centos为例
OS_VERSION=7
#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.2                 #看自己的版本做调整，
#CDH大版本
CDH_MIN=5
CDH_MAX=6             #如果时cdh5就改成5，如果是6就不需要动

3、执行命令

./build.sh  parcel   #如果不能执行可以将build.sh赋予权限试试

成功后会生成文件
构建flink-yarn csd包，命令：build.sh csd_on_yarn，成功后生成文件。

将FLINK-1.13.2-BIN-SCALA_2.11_build 里的文件放 /opt/cloudera/parcel-repo
FLINK_ON_YARN-1.13.2.jar  放在 /opt/cloudera/csd/

4、cm安装flink-parcel

（1）重启cdh server和agent节点 ，登录cloudera mamager

检测parcel，检测到flink的parcel后按流程操作，分配激活即可。


（2）添加flink 服务

选择主机可以先随便填，以后还可以调整。

审核更改，将这两项配置security.kerberos.login.keytab、security.kerberos.login.principal设置为空字符串，点击继续.


安装错误：查看日志文件显示：flink/bin/flink-yarn.sh: line 17: rotateLogFilesWithPrefix: command not found。
（3） 错误检查
直接将Flink-yarn中的那一行注释掉

如果flink版本>=1.12.0
Flink-yarn -> 配置 -> 高级 -> Flink-yarn 服务环境高级配置代码段（安全阀）Flink-yarn（服务范围）加入以下内容即可：

HADOOP_USER_NAME=flink HADOOP_CONF_DIR=/etc/hadoop/conf 
HADOOP_HOME=/opt/cloudera/parcels/CDH 
HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*

或者`

HADOOP_CONF_DIR=/etc/hadoop/conf
HADOOP_HOME=/opt/cloudera/parcels/CDH
HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*
HBASE_CONF_DIR=/etc/hbase/conf

添加配置后重启Flink-yarn服务就不报错了。如果flink版本低于1.12.0需要编译flink-shaded。