实战之Zeppelin结合flink-cdc-connector的SQL使用

最新推荐文章于 2024-09-27 23:47:41 发布
最新推荐文章于 2024-09-27 23:47:41 发布
阅读量657 收藏
点赞数
分类专栏： 大数据 文章标签： flink kafka elasticsearch zeppelin集成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/108606459
版权
本文介绍了如何通过Zeppelin结合Flink的CDC Connector实现实时数据处理。首先，需要开通MySQL binlog权限并创建相应用户。接着，将必要的JAR包添加到Flink和Zeppelin环境中。然后，展示了多个DEMO，包括从CDC到Elasticsearch、Kafka的数据迁移，以及SQL到Kafka和Elasticsearch的转换操作。
摘要由CSDN通过智能技术生成

权限开通

1.找运维开启mysql的binlog，让其提供读取binlog的用户名和密码，并赋予权限：
GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘user’ IDENTIFIED BY ‘password’;

添加JAR包

2.将flink-sql-connector-elasticsearch7_2.11-1.11.1.jar和flink-sql-connector-mysql-cdc-1.1.0.jar添加到flink的lib目录下，也要添加到zeppelin所在pod中的某个目录下，在这里用的是/data/dependency

书写DEMO

cdcToEsDemo

%flink.conf
flink.execution.packages org
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
专栏目录
订阅专栏
flink-sql-cookbook-on-zeppelin
03-05
齐柏林飞艇上的flink-sql-cook
【内网基于docker部署flink1.13.6 CDC、zeppelin0.10.1、flink-sql-cookbook-on-zeppelin】
01-05 1588
本文主要基于centos7单机、docker部署flink cdc和zeppelin，解决了cdc的jar包依赖。
Zeppelin社区给力支持下，解决Zeppelin上的Flink生产环境运行问题
joomlaer的专栏
09-30 1171
背景： Zeppelin一个强大的可视化数据分析工具。它是基于Web的笔记本，可通过SQL，Scala等实现数据驱动的交互式数据分析和协作文档。功能及其强大，可以快速接入Spark,Python,R等数据分析语言工具。数据源可以接入MySQL,Kylin,Hive等几十种数据源。 在现在实时处理神器Flink如火如荼的当下，将Zeppelin接入Flink，实现实时，批数据处理，报表生成，对数据开发分析人员，无疑是一个有力的助力。 现在Flink接入阿里开源生态后，版本迭代的非常迅速，功能也提升的比较
FlinkCDC第三部分-同步mysql到mysql，ctrl就完事~（flink版本1
最新发布
2401_87390048的博客
09-27 1424
需要注意的是，scan.fetch-size 属性值是一个相对的配置，不同的数据源和查询场景可能有不同的最佳值。请注意，为了准确分析火焰图，建议在负载较高的情况下生成火焰图，并保持足够的监视时间。考虑网络环境和带宽限制：如果数据源位于远程服务器或网络环境较差，可以选择适当较小的 fetch size 值，以减少网络传输的负载，避免出现大量的网络超时和传输失败情况。考虑数据源的吞吐量：如果你的数据源的吞吐量较高，网络延迟较低，可以适当增大 scan.fetch-size 的值，以减少网络往返次数和请求开销。
大数据利器Zeppelin的快速搭建法宝及简单使用
hwf的博客
10-12 1507
Zeppelin是什么？ 好有一比，我们在学校上课的时候，使用的是用纸做的笔记本计算和记录笔记，而Zeppelin就是基于web的笔记本，它支持数据驱动、交互式数据分析，并且Zeppelin能无缝的使用SQL、Scala等技术。 为什么我们选择Zeppelin？ 首先是安装使用简单，然后是Zeppelin支持丰富的插件，比如ElasticSearch、Flink、Hbase、li......
Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通）
打工日常
12-19 740
已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。 文章部分截图如下： 更多详细内容请看如下链接： 【腾讯文档】Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通） ...
基于 Zeppelin 的 Flink/Spark 云原生实践
字节跳动云原生计算官方账号
11-10 3151
本文整理自火山引擎基础架构研发工程师陶克路、王正在 ApacheCon Asia 2022 上的演讲。文章主要介绍了 Apache Zeppelin 支持 Flink 和 Spark 云原生实践。
zeppelin-0.8.0-bin-all.tgz
10-12
**安装与使用 Zeppelin-0.8.0：** 1. **解压文件**：首先，你需要将“zeppelin-0.8.0-bin-all.tgz”解压到一个合适的目录下，例如 `~/zeppelin-0.8.0`。 2. **配置环境**：修改 `conf/zeppelin-env.sh` 文件，配置...
Hadoop-Zeppelin使用心得
02-24
它就能满足上述要求，在使用了一段时间之后，这里给大家分享以下使用心得。首先，我们来了解一下这款工具的背景及用途。Zeppelin目前已托管于Apache基金会，但并未列为顶级项目，可以在其公布的官网访问。它提供了一...
zeppelin-0.8.1-bin-all.tgz
07-10
5. **监控与维护**：使用bin/zeppelin-daemon.sh stop命令停止服务，定期检查日志以确保系统运行正常。 Zeppelin的0.8.1版本相比之前的版本可能包含一些性能优化和新功能，具体可查阅官方文档了解详细变更。对于...
flink学习35：flinkSQL查询mysql
hzp666的博客
02-02 1853
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.table.api.EnvironmentSettings import org.apache.flink.table.api.bridge.scala.{StreamTableEnvironment, tableConversions}object sqlQueryTable { def main(args: Ar
Zeppelin整合Flink采坑实录
麒思妙想
07-03 1951
I.前言前两天转了章大的zeppelin系列教程（以下简称“教程”），我也好好的研究学习了一波。我曾无数次鼓吹基于Jupyter的应用，也相信在未来数据分析领域，他会有自己的一席之地....
通过zeppelin调用脚本，提交Flink任务
qq_31866793的博客
10-12 863
一，环境准备，我们在一个节点上部署zeppelin跟Flink。 zeppelin配置（啥也没改）： 二，在节点创建脚本 vim dwd-task2.sh #bash echo "开始dwd任务..." ${FLINK_HOME}/bin/flink run -d -c com.sjb.dev.dwd.DwdEtl_flatMap ./flink-neiwang-dev-1.0-SNAPSHOT-shade.jar echo "任务开始执行......$0,$1,$3" 参考传参：ht.
使用zeppelin学习Flink
happytree001的博客
03-04 1987
一、什么是zeppelin zeppelin是一个基于web的notebook， 二、下载安装zeppelin 2.1 下载 http://zeppelin.apache.org/download.html 第一个是完整安装包，第二个是包含了Spark的解释器，其他解释器需要通过脚本进行在线下载，我这选择第一个完整版，直接下载。点击后，将进入如下下载页面，选择一个镜像点下载即可。 2.2 安装 #直接解压即可，这里解压到/opt目录下 $ sudo tar xf zeppeli.
Flink on Zeppelin问题四则（并没有优雅的解决方案
LittleMagic's Blog
07-30 1650
前言 最近我们正式调研Zeppelin作为Flink SQL开发套件的可能性，于是clone了最新的Zeppelin v0.10-SNAPSHOT源码，自行编译并部署到了预发布环境的新Flink集群中。Flink版本为1.13.0，Hadoop版本为CDH 6.3.2自带的3.0.0。经过两天的探索，发现了一些问题，在百忙之中抽出点时间简要记录一下并不成功的troubleshooting过程。 ...
基于zeppelin ，Flink sql 读取kafka数据写入数据到iceberg
qq_31866793的博客
04-23 795
目录 一、基于zeppelin ，Flink sql读取kafka数据写入数据到iceberg 1，首先一定要添加checkpoint 2，创建iceberg表 3，切换catalog ,创建kafka表usecataloghive; ​ 4，执行sql插入数据 ​ 5，查看iceberg 二、 参考文章 总结 一、基于zeppelin ，Flink sql读取kafka数据写入数据到iceberg 1，首先一定要添加checkpoin...
Flink Sql on Zeppelin（6）——Flink1.11预览（上）
狄杰的博客
07-05 2993
Flink 1.11 Table&Sql预览 概述 之前就和大家说过要做一期Flink 1.11的超前点映版，加上Flink 1.11 release在即，所以这次的内容就和大家简单分享一些Table&Sql方面的新特性 就像标题一样，还是会在Zeppelin中演示，由于两个项目都没release，所以我自己编了下，不过大家用的时候可能有点问题，可以钉钉联系我解决，钉钉号是rnodvmd。链接: https://pan.baidu.com/s/1qCsv9nf35mrqLSTMq9f1fQ
Flink1.11的CDC-Connectors操作记录
qq_31866793的博客
08-31 1950
一，Flink1.11引入了CDC操作，在官网我们可以看到的是： 1，Canal https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/formats/canal.html 2，Debeziumhttps://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/formats/d...
Flink写入数据到ElasticSearch (ElasticSearch详细使用指南及采坑记录)
热门推荐
拂晓的专栏
07-19 4万+
一、ElasticSearchSink介绍 在使用Flink进行数据的处理的时候，一个必要步骤就是需要将计算的结果进行存储或导出，Flink中这个过程称为Sink，官方我们提供了常用的几种Sink Connector，例如: Apache Kafka Elasticsearch Elasticsearch 2x Hadoop FileSystem … 这篇就选取其中一个常用的Elast...
本地Zeppelin部署与Flink开发实践
本资源是一份名为"本地部署Zeppelin开发Flink程序.pdf"的文档，主要探讨了如何在Apache Flink与Apache Zeppelin这两个流行的开源大数据处理框架之间进行集成。Apache Flink是一款强大的流处理和批处理系统，而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值