Flink CDC监听Mysql及SQLserver

已于 2024-07-26 15:41:41 修改
阅读量588 收藏 4
点赞数 5
文章标签： flink mysql sqlserver 大数据
于 2024-07-17 16:51:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TYM112/article/details/140497623
版权

Flink CDC实时监听mysql及SQLserver

1.在sqlserver中开启cdc模式
–开启cdc日志
EXEC sys.sp_cdc_enable_table
@source_schema = ‘dbo’,
@source_name = table_name’,
@role_name = ‘用户名’;
–查询是否开启成功，结果为1表示成功
select is_tracked_by_cdc from sys.tables where name = ‘table_name’;
–关闭表CDC
EXEC sys.sp_cdc_disable_table
@source_schema = ‘dbo’,
@source_name = ‘table_name’,
@capture_instance = ‘用户名’;

监听SQLSERVER

package com.example.flink;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.ververica.cdc.connectors.sqlserver.SqlServerSource;
import com.ververica.cdc.connectors.sqlserver.table.StartupOptions;
import com.ververica.cdc.debezium.DebeziumSourceFunction;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import okhttp3.*;
import org.apache.commons.lang3.StringUtils;
import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.shaded.zookeeper3.org.apache.jute.compiler.JString;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.SinkFunction;

import java.sql.*;
import java.io.IOException;
import java.sql.Connection;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;

public class flink_cdc_sqlserver {
    public static final String url = "jdbc:sqlserver://ip:1433;databaseName=数据库";
    public static final String user = "root";
    public static final String password = "password";
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
                3, // 尝试重启的次数
                Time.of(10, TimeUnit.SECONDS) // 两次尝试之间的延迟
        ));
        env.setRuntimeMode(RuntimeExecutionMode.STREAMING);
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
        DebeziumSourceFunction<String> source = SqlServerSource.<String>builder()
                .hostname("ip")
                .port(1433)
                .username("root")
                .password("password")
                .database("数据库")
                .tableList("表名")
                //.tableList("表名,表名") 多张表,都好隔开
                //.tableList("dbo.test_lhh")
                .startupOptions(StartupOptions.latest()) //生产用这个
                .deserializer(new JsonDebeziumDeserializationSchema()) // converts SourceRecord to JSON String
                .build();
        DataStreamSource<String> ds = env.addSource(source);
        // process算子、map算子等等都可以
//        ds.process()
        ds.addSink(new SinkFunction<String>() {
            @Override
            public void invoke(String value, Context context) throws Exception {
                JSONObject jsonObject = JSON.parseObject(value);
                String op = jsonObject.getString("op");
                //op就是你监控的表操作的状态，c-新增，u-修改，d-删除
                //新增 修改都是获取after中的值
                //删除是获取before的值
                if (StringUtils.equalsIgnoreCase("c", op)) {
                    //insert操作逻辑
                    JSONObject after = jsonObject.getJSONObject("after");
                    JSONObject jsonObject1 = JSON.parseObject(String.valueOf(after));
                    //获取值
                    String no= jsonObject1.getString("xxx").toString(); 
                }
            }
        });
        env.execute("flink cdc sqlserver");
    }
}

– 检查 MySQL 服务器是否支持 CDC
SHOW VARIABLES LIKE ‘binlog_row_image’;
– 检查二进制日志是否开启
SHOW VARIABLES LIKE ‘log_bin’;
– 检查是否有足够的权限读取二进制日志
SHOW BINLOG EVENTS;
如果上述查询返回了结果，并且 log_bin 的值为 ON，那么 CDC 就被启用了。如果你无法看到任何事件或者收到权限错误，你可能需要联系数据库管理员来启用 CDC 或者调整权限
监听Mysql

package com.example.flink;


import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.ververica.cdc.connectors.mysql.MySqlSource;
import com.ververica.cdc.connectors.mysql.table.StartupOptions;
import com.ververica.cdc.debezium.DebeziumSourceFunction;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
import okhttp3.MediaType;
import okhttp3.OkHttpClient;
import okhttp3.Request;
import okhttp3.RequestBody;
import org.apache.commons.lang3.StringUtils;
import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.SinkFunction;

import java.io.IOException;
import java.util.concurrent.TimeUnit;
public class flink_cdc_bz_stk {
    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        env.setRestartStrategy(RestartStrategies.fixedDelayRestart(
                3, // 尝试重启的次数
                Time.of(10, TimeUnit.SECONDS) // 两次尝试之间的延迟
        ));
        env.setRuntimeMode(RuntimeExecutionMode.STREAMING);
        env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
        DebeziumSourceFunction<String> source = MySqlSource.<String>builder()
                .hostname("ip")
                .port(3306)
                .username("root")
                .password("password")
                .databaseList("库")
                .tableList("table_name")
                .startupOptions(StartupOptions.latest()) //生产用这个
                .deserializer(new JsonDebeziumDeserializationSchema()) // converts SourceRecord to JSON String
                .build();
        DataStreamSource<String> ds = env.addSource(source);
        //国家
        // process算子、map算子等等都可以
//        ds.process()
        ds.addSink(new SinkFunction<String>() {
            @Override
            public void invoke(String value, Context context) throws Exception {
                JSONObject jsonObject = JSON.parseObject(value);
                String op = jsonObject.getString("op");
                //op就是你监控的表操作的状态，c-新增，u-修改，d-删除
                //新增 修改都是获取after中的值
                //删除是获取before的值
                if (StringUtils.equalsIgnoreCase("c", op)) {
                    //insert操作逻辑
                    JSONObject after = jsonObject.getJSONObject("after");
                    JSONObject jsonObject1 = JSON.parseObject(String.valueOf(after));
                    //获取值
                    String no= jsonObject1.getString("xxx").toString(); 
                }
            }
        });
        env.execute("flink_cdc_nysql");
    }

依赖

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.24</version>
</dependency>

<dependency>
    <groupId>com.ververica</groupId>
    <artifactId>flink-connector-mysql-cdc</artifactId>
    <version>2.1.0</version>
    <exclusions>
        <exclusion>
            <artifactId>flink-shaded-guava</artifactId>
            <groupId>org.apache.flink</groupId>
        </exclusion>
    </exclusions>
</dependency>

POM依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
<!--    下载jar包-->
    <repositories>
        <repository>
            <id>alimaven</id>
            <url>https://maven.aliyun.com/repository/public</url>
        </repository>
    </repositories>
    <pluginRepositories>
        <pluginRepository>
            <id>alimaven</id>
            <url>https://maven.aliyun.com/repository/public</url>
        </pluginRepository>
    </pluginRepositories>

    <groupId>com.example</groupId>
    <artifactId>flink</artifactId>
    <version>1.0-SNAPSHOT</version>
    <name>flink</name>
    <packaging>jar</packaging>

    <properties>
        <flink.version>1.13.5</flink.version>
        <scala.version>2.11</scala.version>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>
    <dependencies>
        <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.28</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.ververica/flink-sql-connector-sqlserver-cdc -->
        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-sql-connector-sqlserver-cdc</artifactId>
            <version>2.3.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>flink-shaded-guava</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
            </exclusions>
        </dependency>


        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>${flink.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>scala-library</artifactId>
                    <groupId>org.scala-lang</groupId>
                </exclusion>
            </exclusions>
            <!--            <scope>provided</scope>-->
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_2.11</artifactId>
            <version>${flink.version}</version>
            <exclusions>
                <exclusion>
                    <artifactId>flink-shaded-guava</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
            </exclusions>
            <!--            <scope>provided</scope>-->
        </dependency>
        <!--        &lt;!&ndash; https://mvnrepository.com/artifact/org.apache.flink/flink-java &ndash;&gt;-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>joda-time</groupId>
            <artifactId>joda-time</artifactId>
            <version>2.7</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>1.19.1</version>
            <!--            <scope>test</scope>-->
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.76</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.squareup.okhttp3/okhttp -->
        <dependency>
            <groupId>com.squareup.okhttp3</groupId>
            <artifactId>okhttp</artifactId>
            <version>4.0.0</version>
        </dependency>

    </dependencies>


    <build>
        <finalName>real_time_broadcast_of_new_orders</finalName>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.2.4</version> <!-- 使用最新版本 -->
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <transformers>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>com.example.flink.flink_cdc_sqlserver</mainClass> <!-- 设置主类 -->
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>3.4.2</version>
                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <classpathPrefix>lib/</classpathPrefix>
                            <mainClass>com.example.flink.flink_cdc</mainClass>
                            <useUniqueVersions>false</useUniqueVersions>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <!-- 滤掉这些文件,避免影响-->
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>reference.conf</resource>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <argLine>--add-opens java.base/java.lang=ALL-UNNAMED</argLine>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

如果有疑问，可以私信我

热心市民爱抽烟屁
关注
Flink CDC基本概念以及MySQL同步到MySQL
L
07-29 1048
本文基于Flink CDC v2.4.2版本和Flink 1.17.1版本。
springboot整合flink cdc监听数据库数据
蔡定努
03-03 1610
【代码】springboot整合flink cdc监听数据库数据。
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中。
Flink CDC (Mysql为例)
sebeefe的博客
09-09 1435
深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
Flinkcdc监测mysql数据库，自定义反序列化，利用flinkApi和flinkSql两种方式
2301_79197199的博客
04-05 1667
CDC (Flink Change Data Capture)（Flink中改变数据捕获） 是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。搭配Flink计算框架，Flink CDC 可以高效实现海量数据的实时集成。改变你们的一个误区，cdc只有检测功能，不能对数据库中的数据进行修改删除添加。
FlinkCDC全量及增量采集SqlServer数据
weixin_43914798的博客
02-02 3439
本文详细介绍Flink-CDC如何全量及增量采集Sqlserver数据源.
FlinkCDC 实时监控 MySQL
03-21 3611
通过 FlinkCDC 实现 MySQL 数据库、表的实时变化监控，这里只把变化打印了出来，后面会实现如何再写入其他 MySQL 库中；
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
最新发布
简简单单Onlinezuozuo
07-24 788
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动Flink CDC（Flink Change Data Capture）是一种基于数据库日志的CDC技术，它实现了一个全增量一体化的数据集成框架。与Flink计算框架相结合，Flink CDC能够高效地实现海量数据的实时集成。其核心功能在于实时监视数据库或数据流中的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。
Flink CDC 2.x changlog格式的使用【监听MySQL表变化并写入kafka示例】
penriver的博客
09-28 2156
为什么数据先进入kafka? MySQL 数据通过 Flink CDC 进入到 Kafka。 原因如下： 为了实现多个实时任务复用 MySQL 过来的数据， 避免多个任务通过 Flink CDC 接 MySQL 表以及 Binlog，对 MySQL 库的性能造成影响。 测试环境 flink 1.3.2 flink cdc 2.0.2 依赖的jar: flink-sql-connector-kafka_2.11-1.13.2.jar flink-format-changelog-json-2.0.2.j
flink-1.13.6_cdc
07-07
这个连接器使得Flink可以监听MySQL数据库的变化，将DML操作（如INSERT, UPDATE, DELETE）转换为事件流，然后传递给Flink作业进行处理。 2. "flink-sql-connector-elasticsearch7_2.12-1.13.6.jar"：这是Flink SQL ...
flink-sql-connector-mysql-cdc-1.2.0.jar
03-05
flink cdc mysql jar包，2021年最新版
flink cdc mysql整理与总结
努力工作学习的程序员
05-26 1346
1、FlinkCDC 提供了对 Debezium 连接器的封装和集成，简化了配置和使用的过程，并提供了更高级的 API 和功能，例如数据格式转换、事件时间处理等。Flink CDC 使用 Debezium 连接器作为底层的实现，将其与 Flink 的数据处理能力结合起来。通过配置和使用 Flink CDC，您可以轻松地将数据库中的变化数据流转化为 Flink 的 DataStream 或 Table，并进行实时的数据处理、转换和分析。2、Flink的DataStream和SQL比较成熟和易用。
Flink CDC读取Mysql数据
penngo的专栏
05-22 3931
Flink Mysql CDC的核心原理都是通过监控mysql的binlog的日志变化，从而进行日志解析，得到变化的数据。 Flink CDC官网：https://github.com/ververica/flink-cdc-connectors MySql CDC：https://github.com/ververica/flink-cdc-connectors/blob/master/docs/content/con
FlinkCDC 使用 FlinkSQL 方式监控 MySQL
03-22 1391
之前写过一篇使用 FlinkCDC 的 DataStream 方式监控 MySQL 表变化的文章这篇介绍下使用 FlinkCDC 的 FlinkSQL 方式监控表变化；
Flink cdc 实现源表sqlserver到目标表sqlserver或者mysql
weixin_50448162的博客
07-23 661
源表到目标表的同步
Flink-CDC-快速入手（MySQL为例）
qq_44002865的博客
09-13 2240
官方文档地址上面所用的反序列化器是自带的String字符串序列化器我们可以自定义反序列化器，实现//1.创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment . getExecutionEnvironment();
Flink MySQL CDC
qq_32323239的博客
12-07 4004
Flink sqlclient使用方式下载flink-sql-connector-mysql-cdc-2.3-SNAPSHOT.jar放到.注意： flink-sql-connector-mysql-cdc-XXX-SNAPSHOT 版本为开发分支对应的代码。用户需要下载源代码并编译相应的jar。用户应该使用发布版本，例如flink-sql-connector-mysql-cdc-XXX.jar，发布版本将在 Maven 中央仓库中可用。为每个reader设置设置不同的每一个读取 binlog 的 MySQ
flink cdc sqlserver
03-08
如何使用 Flink CDC 技术从 SQL Server 中获取数据？ 可以使用 Flink CDC 技术从 SQL Server 中获取数据。首先，需要在 SQL Server 中启用 CDC 功能，并创建一个 CDC 实例。然后，在 Flink 中使用 CDC Connector 连接到 SQL Server，并使用 SQL Server 中的 CDC 实例来获取数据。最后，可以使用 Flink SQL 或 DataStream API 对获取的数据进行处理和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

热心市民爱抽烟屁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值