第二章 HDP 3.1.5 自定义服务之集成Flink 1.14.3

第二章 HDP 3.1.5 自定义服务之集成Flink 1.14.3

---

---

前言

Ambari2.7.5 + HDP 3.1.5 自定义集成服务 Flink1.14.3

---

前期环境准备

• 创建Flink源

1. 创建Flink源
   将flink-1.14.3-bin-scala_2.11.tgz 包，上传至 /var/www/html/flink 目录下 没有则创建
   如果需要自动配置，并支持flink sql on hudi,phoenix,cdc等功能则配置,不需要可后续手动配置：
   将下列包上传至 /var/www/html/flink/lib 目录下 没有则创建

-rw-r--r-- 1 root root     53820 Jul  6 16:58 commons-cli-1.4.jar
-rw-r--r-- 1 root root     74149 Jul  6 16:58 dlink-client-1.14-0.6.5-SNAPSHOT.jar
-rw-r--r-- 1 root root    176000 Jul  6 16:58 dlink-connector-phoenix-1.14-0.6.5-SNAPSHOT.jar
-rw-r--r-- 1 root root    250201 Jul  6 16:58 flink-connector-jdbc_2.11-1.14.3.jar
-rw-r--r-- 1 root root  58991556 Jul  6 15:24 flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0-undo-servlet.jar
-rw-r--r-- 1 root root  48743527 Jul  6 16:58 flink-sql-connector-hive-3.1.2_2.11-1.14.3.jar
-rw-r--r-- 1 root root  22093914 Jul  6 16:58 flink-sql-connector-mysql-cdc-2.2.0.jar
-rw-r--r-- 1 root root  89539160 Jul  6 16:58 hudi-flink1.14-bundle_2.11-0.11.0.jar
-rw-r--r-- 1 root root    872303 Jul  6 16:58 mysql-connector-java.jar
-rw-r----- 1 root root 108181864 Jul  6 16:58 phoenix-4.14.2-HBase-1.4-client.jar
-rw-r----- 1 root root   4400254 Jul  6 16:58 phoenix-core-4.14.2-HBase-1.4.jar

其中lib 包可以从资源中获取

一、创建Flink用户

#创建 kylin linux用户和组
pssh -h /node.list -i 'groupadd flink'
pssh -h /node.list -i 'useradd  -d /home/flink -g  hadoop'
pssh -h /node.list -i 'echo "Flink@123"  | passwd --stdin flink'

二、重启ambari-server

[root@node001 ~]# ambari-server restart

三、web页面安装Flink

1.ambari web选择添加Flink服务

配置 Flink on yarn 故障转移方式

<property>
    <name>yarn.client.failover-proxy-provider</name>
    <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
</property>

四、问题处理

1.安装失败

cd /var/lib/ambari-server/resources/scripts

执行如下脚本：

python configs.py -u admin -p admin -n ZXYL_CLUSTER -l hd01 -t 8080 -a set -c cluster-env -k ignore_groupsusers_create -v ture

ZXYL_CLUSTER 为集群名称
8080 为web端口
admin 为用户密码

ps: 就是将ignore_groupsusers_create 配置设置为true

总结

由于需求
上述安装，只会安装Flink，不会进行启动，相当于只是安装flink的环境。
如果要执行进入flink目录执行相关命令即可