CDH6.2.1集成flink（flink on yarn或Flink-Standalone服务）

最新推荐文章于 2024-01-15 14:13:11 发布
最新推荐文章于 2024-01-15 14:13:11 发布
阅读量1.9k 收藏 11
点赞数 4
分类专栏： 大数据组件安装部署教程 文章标签： cdh集成flink cdh6.2.1集成flink flink on yarn standalone flink cdh安装部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QYmufeng/article/details/117959663
版权
本文档详细介绍了在CDH6.2.1集群上集成部署Flink1.12.4的步骤，包括环境准备、maven与git安装、Flink源码编译、parcel制作、服务配置及可能遇到的问题与解决方案，如Yarn依赖缺失、hash值不一致和Kerberos配置错误等。
摘要由CSDN通过智能技术生成

目录

一.环境准备

1.cdh-6.2.1

2.centos7

3.jdk1.8

4.maven

5.git

6.scala-2.11

二.安装maven

三.安装git

开始编译

五.下载编译flink1.12.5 源码包

 1.编译Flink1.12.4源码包

六.parcel制作工具下载编译

七. 生成csd文件

​

八.将flink部署到httpd

九.配置parcel库

1.CM页面—>主机—> parcel —> 配置

2.检查新Parcel , 下载—>分配—>激活

十.添加flink服务

十一.可能遇到的问题：

1.FLINK (1.12.4-BIN-SCALA_2.11) 所需的 CDH (低于 6.2.1) Parcel 不可用。

2.hash值不一致导致无法激活

3.添加服务没有flink选项

4.如果启动报错，请查看角色日志：

报错1 ： java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException

报错2： org.apache.flink.configuration.IllegalConfigurationException: Kerberos login configuration is invalid; keytab is unreadable

一.环境准备

1.cdh-6.2.1

2.centos7

3.jdk1.8

4.maven

5.git

6.scala-2.11

我安装的是cdh6.2.1 spark版本是 2.4.0 与 scala-2.11集成所以flink也选择2.11版本


二.安装maven

# 下载
wget https://downloads.apache.org/maven/maven-3/3.8.1/binaries/apache-maven-3.8.1-bin.tar.gz

# 解压
tar -zxf apache-maven-3.8.1-bin.tar.gz

# 配置maven文件
cd apache-maven-3.8.1
vim conf/settings.xml
了解本专栏 订阅专栏 解锁全文 超级会员免费看
CDH-6.2.1安装包合集
04-14
适用于Redhat7以及CentOS7的CDH6.2.1安装包，内附MySQL和JDK1.8以及简易安装步骤，由于资源太大，放置于网盘，下载的内容里是网盘地址。如有问题私信联系。 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel MySQL-5.7 jdk1.8 cm-6.3.1
clouder-cdh-6.2.1 离线安装包
02-09
本资源包为 cdh6.2.1 redhat7 版本 # 目录结构如下 ├── cdh6 │   └── 6.2.1 │   └── parcels │   ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel │   ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 │   └── manifest.json └── cm6 └── 6.2.1 ├── allkeys.asc └── redhat7 └── yum ├── cloudera-manager.repo ├── RPM-GPG-KEY-cloudera └── RPMS └── x86_64 ├── cloudera-manage
【收藏】CDH6.2.1 配置Flink1.10(编译安装)
学亮编程手记
09-18 374
https://blog.csdn.net/qq_37056683/article/details/106852154
CDH6.2.1集成flink1.9.0
百看不如一RUN
06-06 1293
1.下载Flink parcel 链接：https://pan.baidu.com/s/1ExTiI6Q26vSsgvhnEB2f-w 提取码：ldat 2.上传到我们的Linux目录上 3.进入这个目录 [root@cdh01 data]# cd /opt/data/cdh6.2.1-flink/ [root@cdh01 cdh6.2.1-flink]# mv FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar /opt/cloudera/csd/ [root@cdh01 cdh6.
cdh6.2.1+flink1.9+druid1.8搭建实践
weixin_40809627的博客
05-13 1079
1、CDH版本调研和相应依赖整理 综述 一般组件版本管理工具包含两种方式，第一种ambari 第二种为cloudra 两种各有优缺点，但立足公司实际情况，需要一种相对来说，比较稳定，并且易于管理监控更加方便，一般不用二次开发的集群。并且cloudera相对ambari市场占有率比较大解决方案相对比较成熟。因此决定采用cloudera manager 去监控管理公司的集群。 版本选择 Clouder...
flink1.11.3编译集成cdh6.2.1
Tom_yj的博客
04-26 466
编译准备环境： jdk-1.8 maven-3.8 下载并解压maven的安装包 配置maven环境变量： vim /etc/profile 加入环境配置： export MAVEN_HOME=/opt/app/apache-maven-3.8.1 export PATH=$MAVEN_HOME/bin:$PATH 配置生效： source /etc/profile 查看maven是否配置成功，命令： mvn --version flink-1.11.3下载 https://flink.apa
CDH6.2+集成Flink
qq_43403113的博客
04-15 4418
手动编译基于cdh版本的flink
CDH6.3.2集成Apache Flink1.12.0
终回首的博客
11-01 2854
目录一、编译Flink1 下载flink源码2 增加maven镜像3 执行编译命令二、编译parcel1 下载flink-parcel2 修改参数3 复制安装包4 编译parcel5 编译csd6 上传文件三、CDH集成1 登录CDH2 进入Parcel操作界面3 分配Parcel4 激活Parcel5 回主界面6 添加服务报错解决参考资料 版本： Centos7.6 JDK1.8 Scala2.11 Python2.7 Git1.8.3.1 Apache Maven3.6.3 CDH6.3.2 Apach
CDH6配置Flink(编译安装)
qq_31886877的博客
09-09 1957
一、环境 CDH 6.1.1(Hadoop 3.0.0)、Flink 1.10.1、Centos7.4、Maven3.6.3、Scala-2.12和CDH的原生jdk1.8 二、安装包 1.flink1.10.1 tar包 https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-src.tgz 其他版本可以通过该方法下载资源 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2WuVWRyy-15996210
大数据技术之高频面试题
热门推荐
XIAOMO__的博客
11-12 1万+
第一章 项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .
CDH集成Flink
悦上心灵的博客
02-05 2545
CDH集成Flink
CDH6配置Flink1.12.0(编译安装).pdf
11-05
CDH6配置Flink1.12.0(编译安装)
flink-1.9.3-hadoop3.0.0-cdh6.2.1.tar.gz
06-10
资源是flink的编译包， Flink 编译和运行要求 Java 版本至少是 Java 8，且最好选用 Java 8u51 及以上版本，我选用的是java version "1.8.0_181"，源码是基于scala2.11，maven是3.2.5
flink-1.10.1-hadoop-3.0.0-cdh6.2.1.tar.gz
06-10
资源是flink的编译包， Flink 编译和运行要求 Java 版本至少是 Java 8，且最好选用 Java 8u51 及以上版本，我选用的是java version "1.8.0_181"，源码是基于scala2.11，maven是3.2.5
CDH5.16.1 集成Flink1.10.0 parcel文件
11-07
CDH5.16.1集成Flink1.10.0 parcel文件，csd文件。Centos7.5编译。亲测可用。
CDH中安装flink
qq_43689775的博客
09-01 573
安装错误：查看日志文件显示：flink/bin/flink-yarn.sh: line 17: rotateLogFilesWithPrefix: command not found。审核更改，将这两项配置security.kerberos.login.keytab、security.kerberos.login.principal设置为空字符串，点击继续.检测parcel，检测到flink的parcel后按流程操作，分配激活即可。，完成后会有一个flink-parcel的包。（2）添加flink 服务。
CDH6.2.1 环境搭建（云服务器）
半吊子Kyle的博客
07-07 1784
CM/CDH6.2.1 环境搭建环境准备环境介绍服务器准备服务器安全组配置CM 部署准备修改 hostname修改 hosts 文件SSH 免密登陆关闭防火墙（云服务器可忽略）关闭 SELINUX（云服务器可忽略）配置 NTP 时钟同步（云服务器可忽略）CM安装部署安装 JDK（3台）本地yum源搭建及配置CM安装Mysql 及驱动安装CM初始化数据CM启动CDH 应用部署创建集群服务部署安装常见的问题CM初始化数据错误Server启动失败 环境准备 环境介绍 环境搭建规划 腾讯云服务器 3 台 + CDH
flink1.14.5使用CDH6.3.2的yarn提交作业
最新发布
NDF923的专栏
01-15 1875
使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDH yarn为基础，flink on yarn模式的配置步骤。
大数据平台部署-------CDH集群中启用kerberos认证
CarbonDioxide12138的博客
03-18 1031
1.  Kerberos部署1.1.安装相关软件server端 yum -y install krb5-server krb5-libs krb5-auth-dialog Agent端 yum install krb5-devel krb5-workstation -y 1.2.server端修改KDC配置文件修改配置文件中的EXAMPLE.COM为HADOOP.COM，默认的加密是aes25...
CDH6.2.1下flink-1.14.4-scala_2.12 parcel包整合指南
- FLINK_ON_YARN-1.14.4.jar、FLINK-1.14.4.jar：这两个jar文件是Flink在YARN上运行的相关服务jar包。 知识点六：文件存放路径解析 - /opt/cloudera/parcel-repo/：该路径是Cloudera Manager存储所有已下载的parcel...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Toroidals

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值