cdh 安装_CDH6.3.2中自定义flink parcel包以及如何安装查看flink web界面

微信公众号：大数据老司机

本文目标

最近一直在忙着工作的事和家里的事情，距离上一篇文章已经过去45天了，惭愧惭愧啊！今天开始就开始更新了。
之前写过一篇《CDH中自定义flink的parcel包和csd文件》，本文就接着上一篇内容，也就是在自定义flink parcel包后如何在CM上面部署已经如何使用查看flink任务状态等信息。

实操步骤

一、自己打flink1.10.1 parcel包

1.下载制作Parcel包和CSD文件的脚本
git clone https://github.com/Git-Charles/flink-parcel.git
2.修改配置文件 flink-parcel.properties
[root@cdp103 flink-parcel]# vim flink-parcel.properties 
#FLINK 下载地址
FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz
#FLINK_MD5=0718a04fe0a641cc5f5368124a4c54a5 此处MD5值需要修改
FLINK_MD5=d65b756acb1142bf1ef9295130d5fbd2
#flink版本号
FLINK_VERSION=1.10.1
#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.11
#操作系统版本，以centos为例
OS_VERSION=7
#CDH 小版本
CDH_MIN_FULL=6.1
CDH_MAX_FULL=6.3
#CDH大版本
CDH_MIN=6
CDH_MAX=6
3.sh bulid.sh parcel (注意:但是在编译的时候需要改动FLINK_MD5的值，
先执行sh bulid.sh parcel后编译出错后会有一个MD5出来，然后把匹配的那个MD5拷贝进去再重新编译就好了)
4.sh build.sh csd_on_yarn
5.sh build.sh csd_standalone
6.查看Parcel包和csd文件
[root@cdp103 flink-parcel]# ll | grep jar
-rw-r--r-- 1 root root      4704 Jun 29 16:44 FLINK-1.10.1.jar
-rw-r--r-- 1 root root      5227 Jun 29 16:44 FLINK_ON_YARN-1.10.1.jar
[root@cdp103 flink-parcel]# ll FLINK-1.10.1-BIN-SCALA_2.11_build
total 281912
-rw-r--r-- 1 root root 288665179 Jun 29 16:41 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel
-rw-r--r-- 1 root root        41 Jun 29 16:41 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel.sha
-rw-r--r-- 1 root root       581 Jun 29 16:41 manifest.json

2.把打好的parcel包放入指定位置

[root@cdh138 flink1.10.1]# pwd
/var/www/html/flink1.10.1
[root@cdh138 flink1.10.1]# ll
total 281908
-rw-r--r-- 1 root root 288665179 Jun 29 16:46 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel
-rw-r--r-- 1 root root        41 Jun 29 16:57 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel.sha
-rw-r--r-- 1 root root       581 Jun 29 16:46 manifest.json
[root@cdh138 csd]# pwd
/opt/cloudera/csd
[root@cdh138 csd]# ll
total 48
-rw-r--r-- 1 root         root          5227 Jun 29 16:48 FLINK_ON_YARN-1.10.1.jar
[root@cdh138 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@cdh138 parcel-repo]# ll
total 9100172
-rw-r----- 1 cloudera-scm cloudera-scm  326338560 Jun 29 16:57 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel
-rw-r--r-- 1 root         root                 41 Jun 29 16:55 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel.sha
-rw-r----- 1 cloudera-scm cloudera-scm      12625 Jun 29 17:09 FLINK-1.10.1-BIN-SCALA_2.11-el7.parcel.torrent

3.验证本地repo源

4.在CM如何安装参考下篇文章即可
https://blog.csdn.net/weixin_43215250/article/details/105725330

5.如何查看flink web界面首先运行一个flink实时程序，然后在yarn里面查看应用程序，点击进去

总结

至此，CDH6.3.2中从自己打parcel到安装，最好在flink web ui界面查看运行状态全部完成！需要住的是本来flink web ui默认端口是8081，但是由于CDH中组件繁多，端口已不是8081，而是40611 这个坑找了我不少时间，因为网上没有人问这个事情！