第二步 CDH6.3.2升级Flink至1.12.7

secretWHD

已于 2022-06-16 10:28:05 修改

阅读量838

点赞数 2

分类专栏： CDH Flink 文章标签：大数据 flink cloudera

于 2022-06-16 10:19:47 首次发布

本文链接：https://blog.csdn.net/secretWHD/article/details/125310874

版权

CDH 同时被 2 个专栏收录

10 篇文章 10 订阅

订阅专栏

Flink

5 篇文章 0 订阅

订阅专栏

CDH6.3.2升级Flink至1.12.7

CDH原本是Flink1.10，现业务升级和修复log4j漏洞，需要将Flink升级到1.12.7

编译后的目标文件我也已经准备好，自行取用：

链接：百度网盘请输入提取码提取码：cct5

1. 拷贝编译好的parcel

1. 拷贝目标文件
docker cp /root/flink-1.12.7-bin-scala_2.12.tar server001:/root &&
docker cp /root/FLINK_ON_YARN-1.12.5.jar server001:/opt/cloudera/csd/ &&		# （目的是让cm识别）
docker cp flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar server001:/opt/cloudera/parcels/FLINK/lib/flink/lib

2. 解压编译包
tar -xvf /root/flink-1.12.7-bin-scala_2.12.tar && 
ll /root/FLINK-1.12.7-BIN-SCALA_2.12_build/
结果：
total 316428
-rw-r--r-- 1 root root 324009305 12月 13 11:10 FLINK-1.12.5-BIN-SCALA_2.12-el7.parcel
-rw---S--- 1 root root        41 12月 13 11:10 FLINK-1.12.5-BIN-SCALA_2.12-el7.parcel.sha
-rw-r--r-- 1 root root       583 12月 13 11:10 manifest.json

3. 清理缓存，将文件拷贝到parcel_repo下，并授权
rm -rf /opt/cloudera/parcel-cache/*  /opt/cloudera/parcel-repo/* \
&& cp /root/FLINK-1.12.7-BIN-SCALA_2.12_build/* /opt/cloudera/parcel-repo/ \
&& chmod 777 /opt/cloudera/parcel-repo/*


4. 检查hash码是否一致；不一致就修改.sha文件
cd /opt/cloudera/parcel-repo/ && sha1sum FLINK-1.12.7-BIN-SCALA_2.12-el7.parcel && cat FLINK-1.12.7-BIN-SCALA_2.12-el7.parcel.sha
e4c05b78dbcbfaea49e10d0a86ee4e0c4722a086  FLINK-1.12.7-BIN-SCALA_2.12-el7.parcel
e4c05b78dbcbfaea49e10d0a86ee4e0c4722a086
  修改sha文件：
sha1sum FLINK-1.12.7-BIN-SCALA_2.12-el7.parcel | awk '{ print $1 }' > FLINK-1.12.7-BIN-SCALA_2.12-el7.parcel.sha

2. 重启服务

3. 配置parcel

点击分配 - 激活即可

4. 检查log4j是否更新

分配激活完成后，再次查看flink/lib下的log4j版本更新为2.16。 ok完成~

[root@server001 lib]# pwd
/opt/cloudera/parcels/FLINK/lib/flink/lib
[root@server001 lib]# ll
total 183496
-rw-r--r-- 1 root root     89654 12月 15 08:23 flink-csv-1.12.7.jar
-rw-r--r-- 1 root root 105200367 12月 15 08:28 flink-dist_2.12-1.12.7.jar
-rw-r--r-- 1 root root    134891 12月 15 08:22 flink-json-1.12.7.jar
-rw-r--r-- 1 root root   7709741 12月 15 06:56 flink-shaded-zookeeper-3.4.14.jar
-rw-r--r-- 1 root root  34696963 12月 15 08:27 flink-table_2.12-1.12.7.jar
-rw-r--r-- 1 root root  37736212 12月 15 08:27 flink-table-blink_2.12-1.12.7.jar
-rw-r--r-- 1 root root    207909 12月 15 06:56 log4j-1.2-api-2.16.0.jar
-rw-r--r-- 1 root root    301892 12月 15 06:56 log4j-api-2.16.0.jar
-rw-r--r-- 1 root root   1789565 12月 15 06:56 log4j-core-2.16.0.jar
-rw-r--r-- 1 root root     24258 12月 15 06:56 log4j-slf4j-impl-2.16.0.jar