Flink sql CDC 2.x 应用code

最新推荐文章于 2024-07-24 23:54:35 发布

Jhon_yh

最新推荐文章于 2024-07-24 23:54:35 发布

阅读量305

点赞数

分类专栏： flink 文章标签： flink sql mysql

本文链接：https://blog.csdn.net/yswhfd/article/details/121783370

版权

flink 专栏收录该内容

26 篇文章 0 订阅

订阅专栏

该博客介绍了如何使用Apache Flink的CDC connectors从MySQL数据库中实时获取数据。通过配置MySqlSource，设置数据库和表名，以及认证信息，实现了数据流的获取。代码示例展示了如何构建数据源并打印数据，同时提供了注释表示可以自定义反序列化过程。

摘要由CSDN通过智能技术生成

参考链接

flink DS 模式
 官方文档

pom文件

参考 flink cdc2.x mysql ds 模式

code

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.ververica.cdc.connectors.mysql.source.MySqlSource;
import com.ververica.cdc.debezium.StringDebeziumDeserializationSchema;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.util.Properties;

/**
 * @Author: Jhon_yh
 * @Description: sth todo
 */
public class FlinkMysql{
    public static void main(String[] args)  throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();


        Properties debeziumProperties = new Properties();
        debeziumProperties.put("snapshot.locking.mode", "none");

        final MySqlSource<String> mysqlSource = MySqlSource.<String>builder()
                .hostname("hostname")
                .port(3306)
                .databaseList("test") // set captured database
                .tableList("test.student") // set captured table
                .username("root")
                .password("123456")
                .deserializer(new StringDebeziumDeserializationSchema()) // converts SourceRecord to String
                .debeziumProperties(debeziumProperties)
                .build();

        final DataStreamSource<String> mysqlDataSourceDs = env.fromSource(mysqlSource, WatermarkStrategy.noWatermarks(), "MySQL Source");
        mysqlDataSourceDs.setParallelism(1);
        mysqlDataSourceDs.print("mysql_data:");
		//TODO 自定义反序列化code
		
//        final SingleOutputStreamOperator<JSONObject> mapDs = mysqlDataSourceDs.map(x -> {
//            final JSONObject parse = JSON.parseObject(x);
//            return parse;
//        });
//
//        mapDs.print("");

        env.execute("");


    }
}