flinksql cdc mysql 的 jar 包

由于flink cdc mysql 没有发现现成的 jar包,需要自己打包
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
TableEnvironment tableEnv = TableEnvironment.create(new Configuration());
StreamTableEnvironment streamTableEnv = StreamTableEnvironment.create(env);
streamTableEnv.executeSql("CREATE TABLE t1 (\n" +
        "     id BIGINT,\n" +
        "     name STRING,\n" +
        "     PRIMARY KEY (id) NOT ENFORCED\n" +
        "   ) WITH (\n" +
        "     'connector' = 'mysql-cdc',\n" +
        "     'scan.startup.mode' = 'latest-offset',\n" +
        "     'hostname' = 'localhost',\n" +
        "     'port' = '3307',\n" +
        "     'username' = 'root',\n" +
        "     'password' = 'mysql',\n" +
        "     'database-name' = 'mysql8',\n" +
        "     'table-name' = 'admit'\n" +
        "   );");
streamTableEnv.executeSql("select * from t1").print();

两个注意点,必须设置binlog格式为 ROW 必须指定主键

jar包百度云:

链接:https://pan.baidu.com/s/1-WdwJU_kZhnrRVFHJlZrBg?pwd=6666 
提取码:6666

要使用Flink SQL创建MySQL CDC任务,你需要按照以下步骤进行操作: 1. 首先,确保你已经下载了所需的连接器。根据提供的引用内容,你需要下载`flink-connector-jdbc:jar:3.0.0-1.16`和`flink-sql-connector-mysql-cdc:jar:2.3.0`。 2. 启动Flink服务。可以使用`start-cluster.sh`脚本来启动Flink集群。 3. 运行`sql-client.sh`脚本进入Flink SQL模式。在Flink SQL模式下,你可以执行SQL语句来创建表映射和定义任务指令。 4. 针对目标数据库映射,你需要执行SQL语句来创建目标表。根据提供的引用内容,你可以使用以下SQL语句创建名为`ny_energy_data_target`的表: ``` create table ny_energy_data_target ( id bigint, enterprise_id bigint, use_time timestamp, date_type int, attribute_id bigint, PRIMARY KEY (`id`) NOT ENFORCED ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://IP地址:3306/库名?serverTimezone=UTC', 'username' = '用户名', 'password' = '密码', 'table-name' = '表名', 'driver' = 'com.mysql.cj.jdbc.Driver', 'scan.fetch-size' = '200' ); ``` 请将`IP地址`、`库名`、`用户名`、`密码`、`表名`替换为实际的连接信息。 这样,你就成功创建了一个使用Flink SQL进行MySQL CDC的任务。你可以在该任务中使用其他SQL语句来进行数据处理和操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [基于Flink SQL CDC Mysql to Mysql数据同步](https://blog.csdn.net/weixin_43778515/article/details/129331056)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值