flink-cdc实时增量同步mysql数据到hive

已于 2022-09-16 16:50:23 修改
阅读量2.6k 收藏 10
点赞数 2
分类专栏： # Flink 文章标签： hive mysql flink
于 2022-09-16 14:23:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/126889752
版权

本文首发于我的个人博客网站 等待下一个秋-Flink

什么是CDC？

CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

Flink_CDC

1. 环境准备

  • mysql

  • Hive

  • flink 1.13.5 on yarn

说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalone环境吧。

2. 下载下列依赖包

下面两个地址下载flink的依赖包，放在lib目录下面。

  1. flink-sql-connector-hive-2.2.0_2.11-1.13.5.jar</
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据技术派
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
订阅专栏
基于Flink CDC使用datastream方式全量增量同步mysql to mysql
03-04
基于Flink CDC使用datastream方式全量增量同步mysql to mysql 使用的是java语言，只需配置完源数据库和目标数据库信息，运行MysqlCDC中的main函数，即可实现多库多表同步。
NiFi数据流实践：Mysql CDC To Hive
邢为栋
07-13 1236
NiFi数据流实践：实时获取Mysql CDC数据，写入HDFS/Hive。NiFi版本：1.22.0。NiFi官方文档提供了详细的概念说明和使用说明，耐心通读一遍，就可以快速上手开发NiFi数据流。
Flink 实时数仓关键技术解读：Upsert Kafka 和 动态表（Dynamic Table）
最新发布
Laurence的技术博客
02-19 1296
“动态表”的本质是什么？它本质上是一条流（Stream）以及在流上维持着的若干状态（State）！upsert-kafka connector 不同于 kafka connector 的主要地方就在于：通过 upsert-kafka 创建的表能自动同步源端数据表的变更，（Table 模式下）查询该表的结果总能和源表实时保持一致，对于初次接触 Flink 的开发者来说会感到“非常神奇”，因为 upsert-kafka 的数据表是建立在 Kafka 上的，Kafka 并不支持更新和删除操作，但 upsert-k
Flink 1.14 的 mysql CDC 2.2实时增量同步使用
qq_44326412的博客
09-27 5942
Flink 1.14 的 mysql CDC 实时增量同步使用
Flink table store 配置 hive catalog matestore
qq_44326412的博客
09-24 1796
Flink table store 配置 hive catalog matestore ，尝试 mysql cdc 到 hiveFts
美团DB数据同步到数据仓库的架构与实践
weixin_34310785的博客
12-07 1040
背景 在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。 如何准...
Flink-CDC增量数据同步
站上巨人的肩膀
11-09 710
Flink-CDC做数据的增量同步，是数据仓库中数据采集的一环
使用flink SQL Client将mysql数据写入到hudi并同步到hive
从大数据到人工智能的博客
09-24 1496
测试环境 组件版本 mysql 5.7 hive 3.1.2 flink 1.12.2 hudi 0.9.0 hadoop 3.2.0 首先请确保以下组件正常启动： mysql hivemetastore hiveserver2 hdfs yarn hudi适配hive 3.1.2源码编译 0.9.0版本的hudi在适配hive3时，其hudi/package/hudi-flink-bundle/pom.xml文件使用的flink-connector-hive
「轻阅读」基于 Flink SQL CDC的实时数据同步方案，附视频教程
zhenghhgz的博客
11-02 4686
IT实战联盟博客：http://blog.100boot.cn 整理：陈政羽（Flink 社区志愿者）原文：https://mp.weixin.qq.com/s/QNJlacBUlkMT7ksKKSNa5Q Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行
Flink SQL 1.11 新功能与最佳实践
热门推荐
Ververica的博客
09-07 1万+
整理者：陈婧敏（清樾）本文整理自 Apache Flink PMC，阿里巴巴技术专家伍翀（云邪）的分享，旨在帮助用户快速了解新版本 Table & SQL 在 Connectiv...
FlinkCDC第三部分-同步mysql到mysql，ctrl就完事~（flink版本1.16.2）
qq_43511677的博客
07-06 6370
需要注意的是，BEGIN STATEMENT SET 和 COMMIT 语句是 Flink SQL 的扩展语法，它们可能在某些特定的 Flink 版本或环境中才可用。通过设置适当的检查点间隔，可以在容忍一定故障的同时，控制检查点的频率和资源使用。如果在 BEGIN STATEMENT SET 和 COMMIT 之间的任何一条语句执行失败，整个事务将回滚，即已经执行的语句会被撤销。使用这个语句的好处是可以根据作业的需求和资源情况调整这些属性，以获得最佳的性能和资源利用率。
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中。
flink-sql-connector-mysql-cdc-1.2.0.jar
03-05
flink cdc mysql jar包，2021年最新版
flink-connector-mysql-cdc-2.2
03-25
Flink CDC Connectors 2.2源码修改，适配Flink 1.14.2（MySQL）
基于flink-cdc实现监控数据源的实时变更数据捕获
06-06
cdc技术分析文章，基于flink-cdc做监控数据源的实时变更数据捕获。该文从基础定义、使用场景、分析、实际使用流程、源码分析、常见问题及解决方式等几个方向讲解了这个技术栈。如果公司有要使用搜索方案，涉及到业务...
FlinkCDC将MySQL的Binlog数据以纯FlinkSQL落表至Hive
CodeZenPlayground
03-01 5181
目的 使用FlinkSQL（1.13.6）纯SQL方式，通过FlinkCDC（2.1.1）获取MySQL的Binlog数据，以流的形式同步到Hive表中。小文件问题可使用FlinkSQL批处理定期执行表合并来解决。 步骤 启动MySQL的Binlog功能（略） FlinkCDC获取MySQL Binlog并写入Kafka表； -- 读取MySQL源表 DROP TABLE IF EXISTS mysql_cdc; CREATE TABLE mysql_cdc ( `do_date`
flink cdc 读取mysql的binlog写入hive中
ChengYanan的博客
01-20 4771
package com.zallsteel.flink.app.log; import com.google.gson.Gson; import com.zallsteel.flink.entity.ChangelogVO; import com.zallsteel.flink.utils.ConfigUtils; import org.apache.commons.lang3.time.FastDateFormat; import org.apache.flink.api.common.eventt
flink-cdc同步mysql数据到hive
大数据技术派
09-30 1076
本文首发于我的个人博客网站: ikeguang.com什么是CDC？CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。Flink_CDC1. 环境准备mysqlHiveflink ...
flink-cdc同步mysql数据，会对mysql产生查询压力吗
06-09
在使用Flink CDC同步MySQL数据时，Flink会通过MySQL的binlog机制读取变更数据，因此会产生一定的查询压力。但是，这种压力并不会对MySQL产生过多的影响。 原因是，MySQL的binlog机制是一种异步的写入方式，也就是说，当数据发生变更时，MySQL首先会将数据写入到内存中的redo log，然后再异步地将redo log转换为binlog写入到磁盘中。因此，Flink CDC读取binlog时，并不会对MySQL的写入性能产生太大的影响。 当然，如果Flink CDC的读取频率过高，或者MySQL的写入压力过大，可能会导致MySQL binlog的写入性能受到一定的影响。因此，在实际使用中，需要根据具体情况进行调整，以保证系统的稳定性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值