【微服务】springboot3 集成 Flink CDC 1.17 实现mysql数据同步

目录

一、前言

二、常用的数据同步解决方案

2.1 为什么需要数据同步

2.2 常用的数据同步方案

2.2.1 Debezium

2.2.2 DataX

2.2.3 Canal

2.2.4 Sqoop

2.2.5 Kettle

2.2.6 Flink CDC

三、Flink CDC介绍

3.1 Flink CDC 概述

3.1.1 Flink CDC 工作原理

3.2  Flink CDC数据同步优势

3.3 Flink CDC 适用范围

四、Java集成Flink CDC同步mysql数据

4.1 组件版本选择

4.2 数据准备

4.3 导入组件依赖

4.4 Java代码实现过程

4.4.1 自定义反序列化器

4.4.2 自定义Sink输出

4.4.3 启动任务类

4.4.4 效果测试

五、与springboot整合过程

5.1 自定义监听类

5.2 效果测试

六、写在文末

---

一、前言

在微服务开发模式下，系统的数据源往往不是一个单一的来源，在实际项目中，往往是多种异构数据源的组合，比如核心业务数据在mysql，日志分析数据在hbase，clickhouse，es等，但是不同的数据源需要配合完成某一类业务的时候，就涉及到数据的整合或数据同步问题，尤其是数据同步的场景可以说是非常常见的，那么有哪些解决方案呢？

二、常用的数据同步解决方案

2.1 为什么需要数据同步

当系统发展到一定阶段，尤其是系统的规模越来越大，业务体量也不断扩大的时候，一个系统可能会用到多种数据存储中间件，而不再是单纯的mysql，pgsql等，甚至一个系统中一个或多个微服务无法再满足业务的需求，而需要单独做数据存储的服务，在类似的场景下，很难避免新的服务需要从原有的微服务中抽取数据，或定期做数据的同步处理，诸如此类的场景还有很多。