flink 集成到cdh6.2管理平台中

最新推荐文章于 2023-05-22 18:08:50 发布
VIP文章 最新推荐文章于 2023-05-22 18:08:50 发布
阅读量649 收藏 1
点赞数
分类专栏： flink 文章标签： flink 部署 flink 集成到cdh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strong_yu/article/details/107928310
版权
cdh和flink版本

cdh版本:6.2
flink:1.9

步骤
下载cdh的flink

在https://archive.cloudera.com/csa/1.0.0.0/parcels/ 中下载
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha

在https://archive.cloudera.com/csa/1.0.0.0/csd/ 下载
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar

上传文件

把FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel,FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha 文件上传到 /opt/cloudera/parcel-repo/目录

把FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar上传到/opt/cloudera/csd/

分配激活flink parcel

在cm管理界面，分配激活flink
在这里插入图片描述

最低0.47元/天 解锁文章
strong_yu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH6.2.1集成flink（flink on yarn或Flink-Standalone服务）
QYmufeng的博客
06-16 1785
目录 一：环境准备 二：下载安装包 1. Flink-shaded包 2. flink1.10.2 源码包 3. maven配置文件 三：编译flink-shaded版本 1. 解压tar包 2. 解压文件后目录结构 3. 修改pom文件 4. 开始编译 四：编译Flink1.10.2源码 1. 解压tar包 2. 执行编译 3. 等待编译成功 4. 打包编译好的文件 五：制作parcel包 1. 下载git开源制作parcel包的项目 2. 修改配置文件 flink-parcel.properties 3
Flink-1.16.2 CDH6.3.2
最新发布
09-26
CDH6.3.2集成安装Flink-1.16.2，所需的包都在文件里面了，不用再自己打包了 参考部署教程： https://blog.csdn.net/qq_31454379/article/details/110440037 https://www.cnblogs.com/lshan/p/16469294.html
CDH6.3.2集成Flink1.14.4
04-18
1、资源包括commons-cli-1.5.0，flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0放入flink的lib包下使用 2、部署过程中有Redaction rules file doesn't exist, not redacting logs. file: redaction-rules.json和rotateLogFilesWithPrefix: command not found问题，不影响使用
【记录】CDH5.12.1集成Flink1.9.0，并实现cm5.12.1监控flink
遇事不决问春风
09-30 2235
写在前头：最近在CDH上集成flink，现在新版本的CDH6.3以上的，官网有提供parcel跟csd文件，但是我们使用的是CDH5.12.1，还是比较老的版本，所以要自己编译。在这期间搜集了不少资料，但是没有一篇详细的文章是从flink编译=>生成csd、parcel文件=>集成cm这一整套流程完整走下来的。因此我整理了之前收集的资料，并把自己在安装过程出现的问题也整理了出来。希望对大家有所帮助 一、安装准备 我使用的软件版本： Hadoop 2.6.0-cdh5.12.1 Apache Ma
CDH下安装Flink
Jecky的博客
12-10 596
转载点这里
CDH6.2+集成Flink
qq_43403113的博客
04-15 4090
手动编译基于cdh版本的flink
CDH6.2/6.3 集成安装Flink 简明教程
勇敢的俍心的博客
06-03 6985
CDH6系列并不自带Flink，目前此类教程比较少，特此分享出来一个最简单的集成方式。 第一步：下载需要的jar，parcel等文件 wget https://archive.cloudera.com/csa/1.0.0.0/csd/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar wget https://archive.cloudera.com/csa/1.0.0.0/parcels/manifest.json wget https://archive.cloudera.co
编译flink1.6源码并打包成CDH6.3.2的parcel并且部署CDH6.3.2
java技术分享
05-22 1054
10、将打包好的flink-1.16-SNAPSHOT-bin-scala_2.12.tgz放到flink-parcel目录下。14、FLINK-1.16-SNAPSHOT-BIN-SCALA_2.12_build文件夹中包含的文件。包名：flink-1.16-SNAPSHOT-bin-scala_2.12.tgz。7、打包parcel，建议在阿里云服务器上打包很快。9、修改flink-parcel.properties。3、修改flink目录下的pom.xml文件。4、修改setting.xml文件。
Flink SQL管理平台flink-streaming-platform-web安装搭建-整理
m0_57781768的博客
12-02 2553
为什么我下的是适配flink 1.14.3的，我前面安装flink1.13.5，我也是下了一堆flink，经过尝试，才发现flink1.13.5这个版本，适配flink-streaming-platform-web tagV20220625。最近看到有人在用flink sql的页面管理平台，大致看了下，尝试安装使用，比原生的flink sql界面确实好用多了，我们看下原生的，通过bin/sql-client.sh命令进入那个黑框，一只松鼠，对，就是那个界面。否则，安装hadoop集群可老费事儿了。
Flink系统架构
四维大脑的博客
04-19 7950
Flink 的运行时架构中，最重要的就是两大组件：作业管理器（JobManger）和任务管理器（TaskManager）。对于一个提交执行的作业，JobManager 是真正意义上的“管理者”（Master），负责管理调度，所以在不考虑高可用的情况下只能有一个；而 TaskManager 是“工作者”（Worker、Slave），负责执行任务处理数据，所以可以有一个或多个。
cdh6.3.2集成flink1.10.2-parcel包(亲测可用)
12-01
源码编译制作的parcel包，centos7.5+cdh6.3.2+scala2.12亲测可用，内附文章教程地址。
Flink在CDH配置部署及读取kafka的实例验证；
05-06
CDH目前不带flink组件，文档为Flink在CDH集群上的配置部署及读取kafka的实例验证；
plink:Flink平台
05-14
Plink Platform for 概述 旨在基于 封装构建上层平台。 提供常见的作业管理功能。如作业的创建，删除，编辑，更新，保存，启动，停止，重启，管理，多作业模板配置等。 (开发中)Flink SQL 编辑提交功能。如 SQL 的在线开发，智能提示，格式化，语法校验，保存，采样，运行，测试。 目标 我们的目标，大家共同参与，赶紧 ，一起进步吧！（只要你主动，我们就会有故事 。。。） 特性 作业管理（v0.1） [√] 作业创建，删除，编辑，更新，保存，上传 Jar，常规参数配置。 [√] 作业启动，停止，重启，停止，删除。 [√] 批量的作业启动，停止，重启，停止，删除。 [√] 作业列表的查看，过滤，分页。 [√] 作业实例列表的查看，过滤，分页。 [√] 本地化部署（Windows / Linux）。 [√] 容器化部署（Docker）。 Flink SQL（v0.2 开发中
CDH6.3.2集成Flink1.12.2-parcel包(apache Flink-1.12.2-bin-scala_2.12.tgz)
04-15
源码编译制作的parcel包，linux+cdh6.3.2+scala2.12必然可用，内附文章的教程地址。
flink任务调度器
06-20
很牛逼的任务器，可以管理flink的任务
Flink1.12.3+CDH6.3.1集成.docx
05-18
CDH集成flink
CDH6.3.2集成flink1.14.5 parcel
07-26
实测可用，自己编译的
flink1.13.2集成到cdh集群安装包
08-18
包含flink1.13.2针对cdh6.2-6.4版本的编译包 parcel,parcel.sha manifect.json FLINK_ON_YARN.下载后可直接添加到cdh集群中
CDH集成Flink
悦上心灵的博客
02-05 2441
CDH集成Flink
cdh 集成flink
07-27
CDH（Cloudera Distribution including Apache Hadoop）是一种基于Apache Hadoop的分布式数据处理平台。要集成Apache Flink到CDH中，可以按照以下步骤进行操作： 1. 下载和安装CDH：从Cloudera官方网站上下载并安装CDH。根据你的需求选择合适的CDH版本进行安装。 2. 下载和安装Apache Flink：从Apache Flink官方网站上下载并安装Flink。确保选择与你的CDH版本兼容的Flink版本。 3. 配置Flink：在CDH集群的每个节点上配置Flink。你需要编辑Flink的配置文件，指定CDH集群的相关参数，例如HDFS的地址、ZooKeeper的地址等。 4. 启动Flink集群：在CDH集群的一个或多个节点上启动Flink集群。可以使用Flink提供的启动脚本来启动JobManager和TaskManager。 5. 运行Flink任务：使用Flink提供的API或者命令行工具提交和运行Flink任务。你可以编写自己的Flink应用程序，也可以使用现有的Flink作业。 请注意，集成Flink到CDH中可能涉及到一些其他的配置和调整，具体取决于你的环境和需求。建议参考CDH和Flink的官方文档以获取更详细的信息和指导。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值