Flink1.17 Scala/Java MySQL CDC案例

已于 2023-08-23 11:43:12 修改
阅读量1.3k 收藏 6
点赞数
分类专栏： 大数据 文章标签： scala java mysql flink bigdata 数据库 sql
于 2023-08-23 11:37:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaolin84250/article/details/132448894
版权

文章目录

数据表及依赖准备

创建MySQL测试数据表

需要修改MySQL的配置文件，windows为安装目录下的my.ini，linux为/etc/my.cnf，需要设置并开启binlog日志，自行开启，两行配置项，添加之后重启mysql

CREATE TABLE `test1` (
  `id` int NOT NULL,
  `name` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `description` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

开启binlog

server_id=1
log_bin=mysql-bin
binlog_format=ROW
expire_logs_days=30

数据库测试语句

-- 插入测试
INSERT INTO test1 (id, name, description) VALUES (1, 'John', 'A software engineer');
INSERT INTO test1 (id, name, description) VALUES (2, 'Alice', 'A data scientist');
INSERT INTO test1 (id, name, description) VALUES (3, 'Bob', 'An analyst');

-- 删除测试
DELETE FROM test1 WHERE id = 1;  -- 删除 id 为 1 的行
DELETE FROM test1 WHERE id = 2;  -- 删除 id 为 2 的行

导入CDC maven依赖

这里的MySQL 我用的8.0的，如果用的5.7的需要去下面的仓库地址自行更换

maven中央仓库：https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.36

<dependency>
    <groupId>com.ververica</groupId>
    <artifactId>flink-connector-mysql-cdc</artifactId>
    <version>2.4.0</version>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.27</version>
</dependency>

数据变更标识

  • +I：新增数据。
  • -U：一条数据的修改会产生两个U标识符数据。其中-U含义为修改前数据。
  • +U：修改之后的数据。
  • -D：删除的数据。

Java版CDC

DataStreamAPI

主机名，端口，数据库名等自行修改

package com.esni.cdc;

/**
 * Date: 2023/8/23 10:04
 * Author: yilinwei
 * Description: MySQL DataStreamAPI CDC github测试案例: https://github.com/ververica/flink-cdc-connectors
 *
 */

import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import com.ververica.cdc.connectors.mysql.source.MySqlSource;

public class MysqlDataStreamCdc {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        MySqlSource<String> mySqlSource = MySqlSource.<String>builder()
                // 设置主机名
                .hostname("localhost")
                // 设置端口号
                .port(3307)
                // 设置数据库列表
                .databaseList("tyy_test")
                // 设置表列表
                .tableList("tyy_test.test1")
                // 设置用户名
                .username("root")
                // 设置密码
                .password("root")
                // 设置序列化器
                .deserializer(new JsonDebeziumDeserializationSchema())
                .build();

        // 启用checkpoint
        env.enableCheckpointing(3000);

        // 添加source
        DataStreamSource<String> mySQLSource = env
                .fromSource(mySqlSource, WatermarkStrategy.noWatermarks(), "CDC Source");

        mySQLSource.print();

        env.execute("mysql cdc");
    }
}
测试

  • 插入删除数据

image-20230823112752720

  • 打印结果，出现回撤流，发生数据变更

image-20230823113238645

TableAPI的CDC代码

主机名，端口，数据库名等自行修改

package com.esni.cdc;

import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

/**
 * Date: 2023/8/23 10:04
 * Author: yilinwei
 * Description: MySQL FlinkTableAPI CDC github测试案例: https://github.com/ververica/flink-cdc-connectors
 */
public class MysqlTableCdc {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        //创建CDC读取数据表，编写cdc配置项
        /**
         *   目前，Flink 仅支持 "NOT ENFORCED" 模式的主键约束
         *     PRIMARY KEY (id) NOT ENFORCED
         *  如果Flink中不定义主键，那么下面的配置项就要开启
         *   " 'scan.incremental.snapshot.enabled'='true',\n" +
         *   " 'scan.incremental.snapshot.chunk.key-column'='id', \n" +
         *
         */
        tableEnv
                .executeSql(
                        "CREATE TABLE mysql_binlog (\n" +
                                " id INT NOT NULL,\n" +
                                " name STRING,\n" +
                                " description STRING, \n" +
                                " PRIMARY KEY (id) NOT ENFORCED \n " +  //定义主键，如果不定义主键，那么下面的配置项就要开启
                                ") WITH (\n" +
                                " 'connector' = 'mysql-cdc',\n" +
                                " 'hostname' = 'localhost',\n" +    //主机名
                                " 'port' = '3307',\n" + //端口
                                " 'username' = 'root',\n" + //用户名
                                " 'password' = 'root',\n" + //密码
                                " 'database-name' = 'tyy_test',\n" + //数据库名
                                " 'table-name' = 'test1'\n" +   // 数据库表名
                                //如果没有添加主键就需要增加这两行
//                                " 'scan.incremental.snapshot.enabled'='true',\n" +    //配置选项指定了是否启用增量快照模式。增量快照模式用于从数据库中捕获变更，只传输最新的变更数据而不是全量数据
//                                " 'scan.incremental.snapshot.chunk.key-column'='id', \n" +    //配置选项指定了增量快照模式下的快照分块的键列
                                ");");

        //输出CDC数据
        tableEnv
                .sqlQuery("SELECT id, UPPER(name), description FROM mysql_binlog;")
                .execute()
                .print();

    }
}
测试
  • 插入删除数据

image-20230823112752720

  • 打印结果，出现回撤流，发生数据变更

image-20230823113101406

Scala版CDC

DataStreamAPI

主机名，端口，数据库名等自行修改

package org.esni.cdc

import com.ververica.cdc.connectors.mysql.source.MySqlSource
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema
import org.apache.flink.api.common.eventtime.WatermarkStrategy
import org.apache.flink.api.common.typeinfo.Types
import org.apache.flink.streaming.api.scala._

/**
 * Date: 2023/8/23 10:57
 * Author: yilinwei
 * Description:  scala DataStreamAPI cdc
 * CDC github测试案例 : https://github.com/ververica/flink-cdc-connectors
 */

object MysqlDataStreamCdc {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment
      .getExecutionEnvironment
    env.setParallelism(1)

    val mySqlSource: MySqlSource[String] = MySqlSource
      .builder[String]
      .hostname("localhost")
      .port(3307)
      .databaseList("tyy_test")
      .tableList("tyy_test.test1")
      .username("root")
      .password("root")
      .deserializer(new JsonDebeziumDeserializationSchema())
      .build()

    // 启用checkpoint
    env
      .enableCheckpointing(3000)

    val resultSource: DataStream[String] = env
      .fromSource(mySqlSource, WatermarkStrategy.noWatermarks(), "MySQL Source")

    resultSource
      .print()

    env.execute("MySQL CDC Job")
  }
}
测试
  • 插入删除数据

image-20230823112752720

  • 打印结果，出现回撤流，发生数据变更

image-20230823112758005

TableAPI

package org.esni.cdc

import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

/**
 * Date: 2023/8/23 10:57
 * Author: yilinwei
 * Description:  scala Table cdc
 * CDC github测试案例 : https://github.com/ververica/flink-cdc-connectors
 */

object MysqlTableCdc {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment
      .getExecutionEnvironment
    env.setParallelism(1)

    val tableEnv: StreamTableEnvironment = StreamTableEnvironment.create(env)

    //创建CDC读取数据表，编写cdc配置项
    /**
     * 目前，Flink 仅支持 "NOT ENFORCED" 模式的主键约束
     * PRIMARY KEY (id) NOT ENFORCED
     * 如果Flink中不定义主键，那么下面的配置项就要开启
     * " 'scan.incremental.snapshot.enabled'='true',\n" +
     * " 'scan.incremental.snapshot.chunk.key-column'='id', \n" +
     *
     */
    tableEnv.executeSql("CREATE TABLE mysql_binlog (\n" + " id INT NOT NULL,\n" + " name STRING,\n" + " description STRING, \n" + " PRIMARY KEY (id) NOT ENFORCED \n " + //定义主键，如果不定义主键，那么下面的配置项就要开启
      ") WITH (\n" + " 'connector' = 'mysql-cdc',\n" + " 'hostname' = 'localhost',\n" + //主机名
      " 'port' = '3307',\n" + //端口
      " 'username' = 'root',\n" + //用户名
      " 'password' = 'root',\n" + //密码
      " 'database-name' = 'tyy_test',\n" + //数据库名
      " 'table-name' = 'test1'\n" + ");" // 数据库表名
      //如果没有添加主键就需要增加这两行
      //                                " 'scan.incremental.snapshot.enabled'='true',\n" +    //配置选项指定了是否启用增量快照模式。增量快照模式用于从数据库中捕获变更，只传输最新的变更数据而不是全量数据
      //                                " 'scan.incremental.snapshot.chunk.key-column'='id', \n" +    //配置选项指定了增量快照模式下的快照分块的键列
    )

    //输出CDC数据//输出CDC数据
    tableEnv.sqlQuery("SELECT id, UPPER(name), description FROM mysql_binlog;").execute.print()

  }
}
测试
  • 插入删除数据

image-20230823112752720

  • 打印结果，出现回撤流，发生数据变更

image-20230823112919676

小霖大爆屎
关注
专栏目录
【微服务】springboot3 集成 Flink CDC 1.17 实现mysql数据同步
congge_study的博客
10-13 9805
springboot3 集成 Flink CDC 1.17 实现mysql数据同步
Flink CDC入门案例
sijiwang95的博客
04-13 595
由于Flink CDC是基于日志的方式，因此需要开启MySQL的binlog日志。开启binlog日志的配置如下#1.编辑MySQL的配置文件#添加如下内容[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复#重启MySQL服务。
Flink CDC生产实践-转载
qq_31866793的博客
12-29 1263
MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。本文档根据官网翻译了如何设置MySQL CDC连接器以对MySQL数据库运行SQL查询。 依赖关系 为了设置MySQL CDC连接器，下表提供了使用构建自动化工具（例如Maven或SBT）和带有SQL JAR捆绑包的SQL Client的两个项目的依赖项信息。 1、Maven依赖 <dependency> <groupId>com.alibaba.ververica</groupId>
flink cdc例子
sasa527的专栏
06-28 4758
flinkcdc 例子
Flink CDC (Mysql为例)
sebeefe的博客
09-09 1484
深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
Flink-CDC实践（含实操步骤与截图）
番茄炒蛋三分糖
05-30 8611
文章目录前言Flink CDC1. CDC简介1.1 什么是 CDC1.2 CDC 的种类1.3 Flink-CDC2. Flink CDC 案例实操2.1 DataStream 方式的应用2.1.1 导入依赖2.1.2 编写代码2.2.3 提交到集群运行2.1.4 断点续传savepoint2.2 FlinkSQL 方式的应用2.2.1 代码实现2.2.2 测试2.3 自定义反序列化器2.4 DataStream 和 FlinkSQL 方式的对比总结参考资料 前言 本文主要对B站的Flink视频进行学习并
Flink CDC基本概念以及MySQL同步到MySQL
最新发布
L
07-29 1582
本文基于Flink CDC v2.4.2版本和Flink 1.17.1版本。
flink-cdc实时增量同步mysql数据到kafka
大数据技术派
09-14 3046
CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。
https://archive.apache.org/dist/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-elasticsearch7/3.0.1-1.17/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.1.0/flink-sql-connector-mysql-cdc-2.1.0.jar https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-postgres-cdc/2.1.0/flink-sql-connector-postgres-cdc-2.1.0.jar 这四个链接版本兼容吗
06-02
其中，`flink-1.17.0-bin-scala_2.12.tgz` 和 `flink-sql-connector-elasticsearch7-3.0.1-1.17.jar` 都是针对 Flink 1.17.0 版本的，因此它们的版本兼容性是没有问题的；而 `flink-sql-connector-mysql-cdc-2.1.0....
flinksql自定义mysql sink
qq_43662627的博客
10-05 872
因为我接下去想尝试搭建基于docker的mysql集群，因此连接的docker版本的mysql，出了几个小问题，一个是关闭ssl认证，一个修改mavn版本提升到8.0.11 否则会报caching_sha2_password 的错误 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId>
Flink系列之：使用Flink Mysql CDC基于Flink DataStream同步mysql数据到StarRocks数据库
zhengzaifeidelushang的博客
02-10 1124
Flink系列之：使用Flink Mysql CDC基于Flink DataStream同步mysql数据到StarRocks数据库
Flink示例——Flink-CDC
热门推荐
蒋含竹的博客
09-18 1万+
Flink示例——Flink-CDC 版本信息 Mavan依赖 主从同步配置、数据准备 使用Flink-CDC 简单的测试 Flink示例——Flink-CDC 版本信息 产品 版本 Flink 1.11.1 flink-cdc-connectors 1.1.0 Java 1.8.0_231 MySQL 5.7.16 注意：官方说目前支持MySQL-5.7和8，但笔者还简单测试过mariadb-10.0.38（对应MySQL-5.6）。包括增加、删除、更新、聚合，目前皆可用，但不排除未知问题。 Mavan
Flink cdc3.0同步实例（动态变更表结构、分库分表同步）
yyoc97的专栏
12-20 1万+
基于 Flink CDC 3.0 同步 MySQL 到 Doris ，来体验整库同步、表结构变更同步和分库分表同步等功能。
1.33.Flink CDC案例\官方介绍\Table/SQL API的语法\DataStream API的用法\Building from source\Flink CDC案例\案例1/2/3
涂作权的博客
07-05 1437
1.33.Flink CDC案例 1.33.1.官方介绍 1.33.1.1.Table/SQL API的语法 1.33.1.2.DataStream API的用法 1.33.1.3.Building from source 1.33.2.Flink CDC案例 1.33.2.1.pom.xml定义 1.33.2.2.案例1 1.33.2.3.案例2 1.33.2.4.案例3Flink CDC连接器是一组用于Apache Flink的source connectors，使用更改数据捕获(CDC)从不同的数据库
详解 Flink CDC 的介绍和入门案例
weixin_44480009的博客
06-14 1382
​ CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。​ Flink CDC 是一个内置了 Debezium 的基于 Binlog 的可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。
Flink学习---15、FlinkCDC（CDC介绍、案例实操）
星光不问赶路人，岁月不负有心人
10-20 2721
FlinkCDC（CDC介绍、案例实操）
Java 实现mysql 同步 flink cdc 做数据收集 demo
qq_45160543的博客
10-20 2235
快速入门flink cdc 小样， 体验整个业务过程，更容易理解 和学习，希望给你带来帮助
Flink 1.17教程：wordcount maven工程java代码示例（批、流实现方式）
学亮编程手记
09-01 685
代码 DataSet批处理实现Wordcount ctrl + p：查看传参方式。 执行结果 links：https://blog.csdn.net/weixin_44949135/article/details/130895033
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值