用FLink CDC 实现 Mysql 到 Mysql ，或者 Mysql 到 Kafka 数据同步

最新推荐文章于 2024-08-24 15:31:22 发布

lg4546

最新推荐文章于 2024-08-24 15:31:22 发布

阅读量3.8k

点赞数 1

分类专栏：大数据

本文链接：https://blog.csdn.net/lg4546/article/details/115182955

版权

大数据专栏收录该内容

44 篇文章 183 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了如何利用Flink CDC进行数据同步，包括从MySQL到MySQL以及从MySQL到Kafka的同步过程。首先，需要在Flink客户端执行特定命令并添加必要的jar包。对于MySQL到MySQL的同步，定义了源端和目标端的表，并执行相应的SQL语句。接着，展示了从MySQL到Kafka的同步配置，创建源端MySQL表和目标端Kafka表，通过INSERT语句将数据流经Flink CDC至Kafka主题。

摘要由CSDN通过智能技术生成

登录Flink 客户端命令：sql-client.sh embedded

注意：生成字段的时候不要有空格

要支持数据的传输需要增加jar包：

并且要重启 flink的服务。

第一个例子：

从mysql --》 mysql

1源端：

CREATE TABLE test_binlog (id INT NOT NULl,ip STRING,size INT) WITH ('connector' = 'mysql-cdc','hostname' = '172.16.16.233','port' = '3306','username' = 'root','password' = 'root','database-name' = 'test','table-name' = 't_test');<

了解本专栏