0750-7.0.3-如何在CDP DC7.0.3集群部署Flink1.9.1

最新推荐文章于 2024-04-14 09:17:41 发布

Hadoop_SC

最新推荐文章于 2024-04-14 09:17:41 发布

阅读量1.2k

点赞数

分类专栏： Hadoop实操

本文链接：https://blog.csdn.net/hadoop_sc/article/details/104592856

版权

Hadoop实操专栏收录该内容

412 篇文章 61 订阅

订阅专栏

文档编写目的

在前面的文章中，Fayson介绍了《如何获得Cloudera的Flink Parcel包》和《如何在Redhat7.6中安装CDP DC7.0.3》，基于前面的集群环境，本篇文章Fayson主要介绍如何在CDP DC7.0.3集群中使用Parcel的方式安装Flink1.9.1。

文档概述

1.如何在CDP DC集群安装FLink1.9.1

2.运行一个Flink示例验证

测试环境

1.操作系统Redhat7.2

2.CDP DC7.0.3

3.使用root用户操作

安装Flink

1.准备Flink1.9.1的csd文件，并放置到Cloudera Manager Server服务器的/opt/cloudera/csd目录下，然后重启Cloudera Manager Server服务

[root@cdh1 csd]# pwd
/opt/cloudera/csd
[root@cdh1 csd]# ll
total 40
-rw-r--r-- 1 root root 39506 Feb 11 16:59 FLINK-1.9.1-csa1.1.0.0-cdh7.0.3.0-79-1753674.jar
[root@cdh1 csd]#

2.下载Flink1.9.1的Parcel并部署到httpd服务的/var/www/html/flink1.9.1目录下

[root@cdh4 flink1.9.1]# ll
total 135664
-rw-r--r-- 1 root root 138867394 Feb 11 14:44 FLINK-1.9.1-csa1.1.0.0-cdh7.0.3.0-79-1753674-el7.parcel
-rw-r--r-- 1 root root        41 Feb 11 14:43 FLINK-1.9.1-csa1.1.0.0-cdh7.0.3.0-79-1753674-el7.parcel.sha
-rw-r--r-- 1 root root      1065 Feb 11 14:43 manifest.json
[root@cdh4 flink1.9.1]#

3.CM重启完成以后，添加服务页面可以看到有Flink服务。

4.登录CM，在左侧菜单栏点击“Parcel”按钮，进入Parcles管理界面进行配置

进入Parcles管理界面后如下界面：

点击“Parcel Repositories & Network Settings”菜单配置Flink的本地parcel库

完成配置后，点击“Save & Verify Configuration”，关闭配置配置界面可以看到Flink的信息

分别进行 “下载、分配、激活”操作，完成后显示如下：

5.进入CM主页点击“添加服务”。

6.选择添加Flink服务，点击继续。

7.选择Flink History Server以及Gateway节点，点击继续

8.点击继续

9.等待Flink History Server启动成功，完成后点击继续

10.安装完成，点击完成回到CM主页

发现Flink的状态为灰色，CMS有重启提示，按照提示重启CMS服务，重启过程略。重启完成后显示Flink服务正常。

Flink示例运行

1.执行Flink自带的example的wordcount例子。

hadoop fs -mkdir -p wordcount/input
hadoop fs -mkdir -p wordcount/output
hadoop fs -put dfclear wordcount/input
flink run -m yarn-cluster -yn 3 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs:///user/root/wordcount/input/dfclear --output hdfs:///user/root/wordcount/output