flink
文章平均质量分 95
大数据东哥(Aidon)
这个作者很懒,什么都没留下…
展开
-
Flink CDC详解
CDC 的全称是 Change Data Capture ,在广义的概念上,只要是能捕获数据变更的技术,我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术。Flink CDC本质是一组数据源连接器,使用更改数据捕获(CDC)从不同的数据库中摄取更改。Apache Flink®的CDC连接器集成了Debezium作为捕获数据更改的引擎,所以它可以充分利用Debezium的能力。原创 2024-04-24 15:19:20 · 2228 阅读 · 2 评论 -
Canal安装部署与测试
canal,译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份。本文主要包含Canal概述、Canal的安装部署和Canal与Kafka的集成测试及相关注意事项。一起动手实践吧!原创 2023-07-25 18:22:33 · 502 阅读 · 0 评论 -
flink yarn模式HA部署
文章目录1、yarn cluster 模式部署介绍2、flink session HA模式3、flink-per-job模式该文章基于上一篇:Flink的local和standalone HA安装部署https://editor.csdn.net/md/?articleId=1061556811、yarn cluster 模式部署介绍mr和spark都可以基于yarn模式部署,flink也不例外,生产中很多也基于yarn模式部署。flink的yarn模式部署也分为两种方式,一种是yarn-sessi原创 2020-05-20 20:08:31 · 1371 阅读 · 1 评论 -
Flink的local和standalone HA安装部署
1、local模式flink的local模式运行在单个jvm中。同时local方便快速测试。安装方式:需求:Java 1.8.x or higher,ssh1、下载2、解压[root@hadoop01 local]# tar -zxvf /home/flink-1.9.1-bin-scala_2.11.tgz -C /usr/local/[root@hadoop01 local]# cd ./flink-1.9.1/3、配置环境变量export FLINK_HOME=/usr/l原创 2020-05-16 10:52:19 · 696 阅读 · 0 评论 -
flink的基础介绍
Flink 学习资料官方文档 :https://flink.apache.orgFlink 中文社区视频课程:https://github.com/flink-china/flink-training-courseFlink 中文社区 :https://www.slidestalk.com/FlinkChinaververica 教程 :https://training.ververica.com/ververica 教程中文文档:https://ci.apache.org/projects/f原创 2020-05-10 01:00:24 · 644 阅读 · 0 评论