第二章 HDP 3.1.5 自定义服务之集成Flink 1.14.3
文章目录
前言
Ambari2.7.5 + HDP 3.1.5 自定义集成服务 Flink1.14.3
前期环境准备
- 创建Flink源
- 创建Flink源
将flink-1.14.3-bin-scala_2.11.tgz 包,上传至 /var/www/html/flink 目录下 没有则创建
如果需要自动配置,并支持flink sql on hudi,phoenix,cdc等功能则配置,不需要可后续手动配置:
将下列包上传至 /var/www/html/flink/lib 目录下 没有则创建
-rw-r--r-- 1 root root 53820 Jul 6 16:58 commons-cli-1.4.jar
-rw-r--r-- 1 root root 74149 Jul 6 16:58 dlink-client-1.14-0.6.5-SNAPSHOT.jar
-rw-r--r-- 1 root root 176000 Jul 6 16:58 dlink-connector-phoenix-1.14-0.6.5-SNAPSHOT.jar
-rw-r--r-- 1 root root 250201 Jul 6 16:58 flink-connector-jdbc_2.11-1.14.3.jar
-rw-r--r-- 1 root root 58991556 Jul 6 15:24 flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0-undo-servlet.jar
-rw-r--r-- 1 root root 48743527 Jul 6 16:58 flink-sql-connector-hive-3.1.2_2.11-1.14.3.jar
-rw-r--r-- 1 root root 22093914 Jul 6 16:58 flink-sql-connector-mysql-cdc-2.2.0.jar
-rw-r--r-- 1 root root 89539160 Jul 6 16:58 hudi-flink1.14-bundle_2.11-0.11.0.jar
-rw-r--r-- 1 root root 872303 Jul 6 16:58 mysql-connector-java.jar
-rw-r----- 1 root root 108181864 Jul 6 16:58 phoenix-4.14.2-HBase-1.4-client.jar
-rw-r----- 1 root root 4400254 Jul 6 16:58 phoenix-core-4.14.2-HBase-1.4.jar
其中lib 包可以从资源中获取
一、创建Flink用户
#创建 kylin linux用户和组
pssh -h /node.list -i 'groupadd flink'
pssh -h /node.list -i 'useradd -d /home/flink -g hadoop'
pssh -h /node.list -i 'echo "Flink@123" | passwd --stdin flink'
二、重启ambari-server
[root@node001 ~]# ambari-server restart
三、web页面安装Flink
1.ambari web选择添加Flink服务
配置 Flink on yarn 故障转移方式
<property>
<name>yarn.client.failover-proxy-provider</name>
<value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
</property>
四、问题处理
1.安装失败
cd /var/lib/ambari-server/resources/scripts
执行如下脚本:
python configs.py -u admin -p admin -n ZXYL_CLUSTER -l hd01 -t 8080 -a set -c cluster-env -k ignore_groupsusers_create -v ture
ZXYL_CLUSTER 为集群名称
8080 为web端口
admin 为用户密码
ps: 就是将ignore_groupsusers_create 配置设置为true
总结
由于需求
上述安装,只会安装Flink,不会进行启动,相当于只是安装flink的环境。
如果要执行进入flink目录执行相关命令即可