大数据
文章平均质量分 81
Cyber_Pioneer
这个作者很懒,什么都没留下…
展开
-
纯干货基于flinkcdc实现mysql到mysql/oracle/...... DML实时同步
CDC首先什么是CDC ?它是Change Data Capture的缩写,即变更数据捕捉的简称,使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游,供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等操作。Flink SQL CDC 数据同步与原理解析CDC 全称是 Change Data Capture ,它是一个比较广义的概念,只要能捕获变更的数据,我们都可以称为 CDC 。业界主要有基于查询的 CDC 和基于日志的 CDC ,可以从下面表格对比他们功能和差异原创 2021-08-14 10:12:35 · 9281 阅读 · 17 评论 -
Oracle+Kafka+Flink(CDC捕获) 部署实时同步数据
前言:之前使用confluent已经出过文档,因为confluent插件比较老,小编只是演示用,而且confluent对应数据的更新删除不好识别,这次小编使用的是debezium搭配单机的kafka环境,演示以单机环境为主,但会说到集群。1.环境1.1、Kafka:kafka_2.13-2.8.01.2、数据库:/Oracle11G。(Oracle开启归档)1.3、计算引擎:Flink 1.13.11.4、Kafka Connector:debezium-connector-mysql-1.4.原创 2021-07-22 21:00:47 · 7589 阅读 · 2 评论 -
flink实时消费kafka中oracle的DML数据写入mysql
flink实时消费kafka中oracle的DDL数据写入mysql前言:上篇文章:https://mp.csdn.net/mp_blog/creation/editor/118930336说到了kafka如何实时获取oralce的DDL,下面来说下flink如何消费kafka数据并sink到任意数据库。参考文档:https://www.cnblogs.com/yaowentao/p/14840042.html,此博主写了很多关于大数据的文章,浅显易懂,在此推荐。。。1.首先,小编flink版本使用1原创 2021-07-21 20:51:16 · 3561 阅读 · 3 评论