CDH 6.3.2下安装Flink

一、上传镜像

(1)在/var/www/html/下新建flink-cdh文件夹

将编译好的镜像上传到flink-cdh下,主要有下面三个文件

FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel

FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel.sha

manifest.json

(2)将FLINK_ON_YARN-1.13.2.jar上传到/opt/cloudera/csd文件夹下

二、parcel配置

点击配置,添加httpd中的cdh镜像路径

三、重启cdh agent、server服务

(1)systemctl restart cloudera-scm-agent

(2)systemctl restart cloudera-scm-server

(3)重新进行parcel页面,看到FLINK下已经有了parcel的包,如果提示哈希验证失败,则先去排查

FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel.sha 和 manifest.json两个文件中的哈希值是否一致,如果一致,则是httpd服务导致,需要进行httpd配置文件的修改。

vim /etc/httpd/conf/httpd.conf ,在如图AddType 行添加.parcel,注意tgz前面的空格

重启httpd

systemctl restart httpd

重启cdh agent、server服务

systemctl restart cloudera-scm-agent

systemctl restart cloudera-scm-server

四、配置镜像

(1)重新进入parcel页面,点击下载,完成下载

(2)点击分配,完成分配

(3)点击激活

五、下载依赖jar包flink-shaded-hadoop,并上传到需要安装flink集群节点的服务器

(1)https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/

(2)存放路径:

work1:/opt/cloudera/parcels/FLINK/lib/flink/lib

work2:/opt/cloudera/parcels/FLINK/lib/flink/lib

work3:/opt/cloudera/parcels/FLINK/lib/flink/lib

work4:/opt/cloudera/parcels/FLINK/lib/flink/lib

export HADOOP_CLASSPATH=/opt/cloudera/parcels/FLINK/lib/flink/lib

没有这个包,各节点上的flink会无法启动

六、安装

(1)点击添加服务,选择flink-yarn

(2)选择主机,分配节点

注意将页面中kerberos两项置为空

security.kerberos.login.keytab

security.kerberos.login.principal

(3)完成安装

(4)完成安装

(5)访问flink页面

http://10.13.8.88:8081/(节点IP+8081)

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值