CDH6.2集成flink1.11.6管理

因官方parcel下载地址关闭，所以需要手动编译集成。

文章引用自：cdh6 flink 安装«海底苍鹰(tank)博客

与文中不同的是，我们需要在cdh6.2上集成flink1.11.6，下面一起来试试吧

clone git项目 用于编译parcel包，提供给CDH

git clone https://github.com/pkeropen/flink-parcel.git

下载完毕，进入目录

vim flink-parcel/flink-parcel.properties

修改内容如下：

#FLINK 下载地址
FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.14.2/flink-1.14.2-bin-scala_2.11.tgz

#flink版本号
FLINK_VERSION=1.14.2

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.11

#操作系统版本，以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6

执行编译：

bash build.sh parcel
bash build.sh csd_on_yarn

这个编译过程很慢，需要耐心等待，好在最后还是完成了

编译完的目录如下

build.sh                     FLINK-1.14.2-BIN-SCALA_2.11_build  flink-csd-on-yarn-src     flink-parcel.properties  README.md
cm_ext                       flink-1.14.2-bin-scala_2.11.tgz    flink-csd-standalone-src  flink-parcel-src
FLINK-1.14.2-BIN-SCALA_2.11  flink_csd_build                    FLINK_ON_YARN-1.14.2.jar  LICENSE

需要装一个nginx，映射FLINK-1.14.2-BIN-SCALA_2.11_build，让其能通过http静态资源访问被访问到。

yum install nginx -y

vim /etc/nginx/nginx.conf

    
#添加如下片段，映射刚刚编译出来的文件夹
    server {  
        listen 自定义端口;  
        root 自定义文件目录;  
        autoindex on;  
        autoindex_exact_size off;  
        autoindex_localtime on;  
        charset utf-8;  
    } 

添加CDH配置

移动FLINK_ON_YARN-1.14.2.jar到2个地方

1 flink static的访问目录 

2 /opt/cloudera/csd/

cp FLINK_ON_YARN-1.14.2.jar 静态目标目录
cp FLINK_ON_YARN-1.14.2.jar /opt/cloudera/csd/

重启CDH的CM-server

service cloudera-scm-server restart

登陆进入页面，重启CM套件

分配激活flink

 下载share包，分发到各个节点

cd /opt/cloudera/parcels/FLINK/lib/flink/lib  
wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-7.0/flink-shaded-hadoop-2-uber-2.6.5-7.0.jar  
  
scp flink-shaded-hadoop-2-uber-2.6.5-7.0.jar hosts:/opt/cloudera/parcels/FLINK/lib/flink/lib 

给各个节点添加环境变量

#flink
export FLINK_HOME=/opt/cloudera/parcels/FLINK/lib/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CLASSPATH=/opt/cloudera/parcels/FLINK/lib/flink/lib

source /etc/profile

# 挂载/usr/bin环境
ln -s /opt/cloudera/parcels/FLINK/lib/flink/bin/flink /usr/bin/flink

再添加flink套件

security.kerberos.login.keytab
security.kerberos.login.principal

添加时这俩个值要置空

启动成功！

如要提交命令到集群，需要将hadoop的各种xml配置文件拷贝到flink的conf中

cp /etc/hadoop/conf/*.xml /opt/cloudera/parcels/FLINK/lib/flink/conf

即可在机器中提交flink 任务至yarn