CDH6.1配置Flink 集群

最新推荐文章于 2023-09-01 14:28:53 发布
最新推荐文章于 2023-09-01 14:28:53 发布
阅读量655 收藏
点赞数
分类专栏： 大数据 文章标签： CDH Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_liuzhiyuan/article/details/117705349
版权

cdh搭建flink集群

参考链接

https://github.com/chubbyjiang/cdh-deploy-robot

https://github.com/pkeropen/flink-parcel

制作Flink的Parcel包和csd文件 参考：

https://blog.csdn.net/weixin_43215250/article/details/105578244

执行过程

笔者没有使用清华镜像 使用的是https://archive.apache.org/dist/flink/flink-1.13.1/
因为在服务器执行build.sh parcel下载相关jar包时速度极慢

执行结果

执行 build.sh csd_on_yarn 命令后 会得到一个csd 文件： flink_csd_build 然后将文件 copy 到 cdh 默认的安装包目录：/opt/cloudera/csd 目录中

IT_ZhiCunGaoYuan
关注
专栏目录
CDH集成Flink
weixin_41367158的博客
03-01 335
这里把之前编译打包好的flink的tar包上复制到flink-parcel项目的根目录。FLINK_URL=https://archive.apache.org/dist/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz #flink版本号。编译完成的结果就是flink/flink-dist/target/flink-1.17.1-bin目录下的flink-1.17.1文件夹，接下来把flink-1.17.1打包成tar包。
CDH6.3.2编译并集成Flink
等闲之辈莫等闲的博客
06-10 3342
一、安装包准备 CDH 6.3.2(Hadoop 3.0.0)、Flink 1.12.4、flink-shaded-12.0、Centos7.9、Maven 3.6.3、Scala-2.13.6和JDK1.8.0_291 flink包下载：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/ 二、环境配置 1.将安装包上传到相应目录并解压 tar -xzvf xx.tgz 2.配置环境变量 vi /etc/profile export JAVA_HOME=/
CDH6配置Flink1.12.0(编译安装).pdf
11-05
CDH6配置Flink1.12.0(编译安装)
CDH集群集成外部Flink（改进版-与时俱进）
前方的路在刚开始
07-26 2188
参考文章中，给出的cdh编译后的flink，已经下架，所以我们得想办法，编译。参考别人的文章不可怕，怕的是，不思进取，我们可以参考别人的文章，并且对不足之处，进行改进，将优秀的地方，进行学习，这样我们国家和民族的技术文章和社区，才能不断进步。可能有一天我不干程序员了，但是技术更新了，那时，我也希望，我的文章能被别人拿走，进行改进，造福开源社区。于是，此文章是基于参考文章为基础，进行的改进版。...............
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
CDH中安装flink
最新发布
qq_43689775的博客
09-01 483
安装错误：查看日志文件显示：flink/bin/flink-yarn.sh: line 17: rotateLogFilesWithPrefix: command not found。审核更改，将这两项配置security.kerberos.login.keytab、security.kerberos.login.principal设置为空字符串，点击继续.检测parcel，检测到flink的parcel后按流程操作，分配激活即可。，完成后会有一个flink-parcel的包。（2）添加flink 服务。
CDH6.3.2集成Flink1.12.2
qq_39315954的博客
11-30 1956
编译flink-shaded flink-shaded(用10.0版本，1.12对应的flink-shaded1.12版本没有flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0这个jar包) git clone https://github.com/apache/flink-shaded.git git checkout -b flinkshaded9 release-9.0 vim pom.xml .
Flink第三章Flink集群搭建
汉子一枚
07-20 530
Flink集群搭建 Flink 支持多种安装模式。 local（ 本地） ——单机模式， 一般不使用 standalone ——独立模式， Flink 自带集群，开发测试环境使用 yarn——计算资源统一由 Hadoop YARN 3.1 standalone 集群环境 3.1.1 准备工作 jdk1.8 及以上【 配置 JAVA_HOME 环境变量】 ssh 免密码登录【 集群内节点之间免密登录】 3.1.2 下载安装包 https://archive.apache.org/dist/flink/fli
快速入门Flink (2) —— Flink 集群搭建
大数据梦想家
07-17 4570
写在前面： 博主是一名大数据的初学者，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://alice.blog.csdn.net/ 尽管当前水平可能不及各位大佬，但我还是希望自己能够做得更好，因为一天的生活就是一生的缩影。.
Flink_集群搭建
qq_44509920的博客
07-07 385
文章目录3.1 standalone 集群环境3.1.1 准备工作3.1.2 下载安装包3.1.3 集群规划3.1.4 步骤3.1.5具体操作3.1.6 启动/停止 flink 集群3.1.7 Flink 集群的重启或扩容3.1.8 Standalone 集群架构3.2 高可用 HA 模式3.2.1 HA 架构图3.2.2 集群规划3.2.3 步骤3.2.4 具体操作3.3 yarn 集群环境3.3.1 准备工作3.3.2 集群规划3.3.3 修改 hadoop 的配置参数3.3.4 修改全局变量/etc/
flink-1.13.1 cdh6.3.2
07-24
flink 部署在cdh6.3.2 的包
Flink集群安装部署.txt
07-29
Flink集群安装部署,
flink-1.9.3-hadoop3.0.0-cdh6.2.1.tar.gz
06-10
资源是flink的编译包， Flink 编译和运行要求 Java 版本至少是 Java 8，且最好选用 Java 8u51 及以上版本，我选用的是java version "1.8.0_181"，源码是基于scala2.11，maven是3.2.5
CDH 6.3.2下安装Flink
weixin_47444415的博客
02-17 1897
cdh 6.3.2下安装flink简单教程，自己在生产环境中测试成功
CDH整合Flink（CDH6.3.2+Flink1.12.0）
热门推荐
mp9105的博客
03-01 1万+
一、准备工作 安装jdk1.8及maven，jdk使用CDH安装包中自带的jdk的rpm包即可 安装完成后添加环境变量 [root@linux201 ~] vim /etc/profile.d/custom.sh 添加如下内容 # JAVA_HOME JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera PATH=$PATH:$JAVA_HOME/bin # MAVEN_HOME MAVEN_HOME=/usr/local/maven-3.6.3 PATH=$PATH:$
cdh集成flink1.13.0
yangpu002的博客
12-06 1872
flink：1.13.0-1.12cdh：5.16.1为cdh集群搭建flink，需要编译flink的parcel包；安装git和maven，并配置maven的环境变量（lunix安装maven可自行百度，注意镜像换成阿里云的）下载flink的parcel制作包（这是通过githup下载的）： 通过githup下载有可能下载失败，这是可以直接通过github官网进行下载，然后放到lunix主机上解压；通过flink的parcel制作包，也可以在githup或者gitee上找其他的，这只是一个举例 进入目
服务器CDH6.3.2安装编译集成Apache Flink1.12.0
hellowangxiansheng的博客
04-10 425
最后集成Flink 1.12.0版本成功到这就结束了！！！！最后编译的Flink安装包：提取码：1syp。
阿里云安装CDH6.3.2并集成flink1.12
weixin_44067108的博客
11-03 2631
1.购买阿里云服务器 可使用抢占实例的服务器，一天几块钱（按小时使用时长收费）但是服务器但是有百分之0-3的回收率 选择4核16GB的服务器，通用型g5最便宜所以选择这个 选择无确定使用时长。三台实例，镜像选择centos7.5，硬盘40GB 选择交换机所在地址，宽带峰值可自由调配，毕竟按流量收费 下一步确定订单 购买完成 8毛钱一个小时 在控制台看到服务器 ...
CDH6.2+集成Flink
qq_43403113的博客
04-15 4370
手动编译基于cdh版本的flink
CDH6.3.2与Flink1.12.2的完美集成指南
这些脚本可能包括初始化配置、启动 Flink 集群、停止服务等命令，它们能够帮助用户简化安装和部署的过程。 4. "META-INF" 目录通常用于存储元数据文件，这些文件定义了与应用程序相关的配置信息、清单属性以及与包...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值