Flink CDC MySQL同步MySQL错误记录

已于 2024-01-08 13:19:15 修改
阅读量2.5k 收藏
点赞数
分类专栏： Flink学习笔记 文章标签： flink mysql CDC
于 2023-09-25 17:17:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengyuqiang/article/details/133275963
版权

0、相关Jar包

https://repo1.maven.org/maven2/org/apache/flink/flink-connector-jdbc/3.1.1-1.16/

https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/3.0.0/

或者从mvnrepository.com下载
https://mvnrepository.com/artifact/com.ververica/flink-sql-connector-mysql-cdc

https://mvnrepository.com/artifact/org.apache.flink/flink-connector-jdbc

1、启动 Flink SQL

[appuser@whtpjfscpt01 flink-1.17.1]$ bin/sql-client.sh

在这里插入图片描述

2、新建源表

问题1：Encountered “(”
处理方法：去掉int(11)，改为int

Flink SQL> CREATE TABLE `t_user` (
>   `uid` int(11) NOT NULL AUTO_INCREMENT COMMENT 'user id',
>   `did` int(11) DEFAULT NULL COMMENT 'dept id',
>   `username` varchar(14) DEFAULT NULL,
>   `add_time` datetime DEFAULT NULL,
>   PRIMARY KEY (`uid`) NOT ENFORCED
> ) WITH (
>       'connector' = 'mysql-cdc',
>       'hostname' = '192.25.34.2',
>       'port' = '3306',
>       'username' = '*******',
>       'password' = '*******',
>       'database-name' = 'test',
>       'table-name' = 't_user'
> );
[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.sql.parser.impl.ParseException: Encountered "(" at line 2, column 12.
Was expecting one of:
    "CONSTRAINT" ...
    "NOT" ...
    "NULL" ...
    "PRIMARY" ...
    "UNIQUE" ...
    "COMMENT" ...
    "METADATA" ...
    ")" ...
    "," ...
    "MULTISET" ...
    "ARRAY" ...

Flink SQL>

问题2：Encountered “AUTO_INCREMENT”
处理方法：删除AUTO_INCREMENT

Flink SQL> CREATE TABLE `t_user` (
>   `uid` int NOT NULL AUTO_INCREMENT COMMENT 'user id',
>   `did` int DEFAULT NULL COMMENT 'dept id',
>   `username` varchar(14) DEFAULT NULL,
>   `add_time` datetime DEFAULT NULL,
>   PRIMARY KEY (`uid`) NOT ENFORCED
> ) WITH (
>       'connector' = 'mysql-cdc',
>       'hostname' = '192.25.34.2',
>       'port' = '3306',
>       'username' = '*******',
>       'password' = '*******',
>       'database-name' = 'test',
>       'table-name' = 't_user'
> );
[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.sql.parser.impl.ParseException: Encountered "AUTO_INCREMENT" at line 2, column 22.
Was expecting one of:
    "CONSTRAINT" ...
    "PRIMARY" ...
    "UNIQUE" ...
    "COMMENT" ...
    "METADATA" ...
    ")" ...
    "," ...
    "MULTISET" ...
    "ARRAY" ...

Flink SQL>

问题3：Encountered “DEFAULT”
处理方法：删去DEFAULT

Flink SQL> CREATE TABLE `t_user` (
>   `uid` int NOT NULL COMMENT 'user id',
>   `did` int DEFAULT NULL COMMENT 'dept id',
>   `username` varchar(14) DEFAULT NULL,
>   `add_time` datetime DEFAULT NULL,
>   PRIMARY KEY (`uid`) NOT ENFORCED
> ) WITH (
>       'connector' = 'mysql-cdc',
>       'hostname' = '192.25.34.2',
>       'port' = '3306',
>       'username' = '*******',
>       'password' = '*******',
>       'database-name' = 'test',
>       'table-name' = 't_user'
> );
[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.sql.parser.impl.ParseException: Encountered "DEFAULT" at line 3, column 13.
Was expecting one of:
    "CONSTRAINT" ...
    "NOT" ...
    "NULL" ...
    "PRIMARY" ...
    "UNIQUE" ...
    "COMMENT" ...
    "METADATA" ...
    ")" ...
    "," ...
    "MULTISET" ...
    "ARRAY" ...

Flink SQL>

问题4：Unknown identifier ‘datetime’
处理方法：改用 TIMESTAMP(3)

Flink SQL> CREATE TABLE `t_user` (
>   `uid` int NOT NULL COMMENT 'user id',
>   `did` int COMMENT 'dept id',
>   `username` varchar(14) ,
>   `add_time` datetime ,
>   PRIMARY KEY (`uid`) NOT ENFORCED
> ) WITH (
>       'connector' = 'mysql-cdc',
>       'hostname' = '192.25.34.2',
>       'port' = '3306',
>       'username' = '*******',
>       'password' = '*******',
>       'database-name' = 'test',
>       'table-name' = 't_user'
> );
[ERROR] Could not execute SQL statement. Reason:
org.apache.calcite.sql.validate.SqlValidatorException: Unknown identifier 'datetime'

Flink SQL>

创建成功：

Flink SQL> CREATE TABLE `t_user` (
>   `uid` int NOT NULL COMMENT 'user id',
>   `did` int COMMENT 'dept id',
>   `username` varchar(14) ,
>   `add_time` TIMESTAMP(3),
>   PRIMARY KEY (`uid`) NOT ENFORCED
> ) WITH (
>       'connector' = 'mysql-cdc',
>       'hostname' = '192.25.34.2',
>       'port' = '3306',
>       'username' = '*******',
>       'password' = '*******',
>       'database-name' = 'test',
>       'table-name' = 't_user'
> );
[INFO] Execute statement succeed.

Flink SQL>

3、创建目标表

Flink SQL> CREATE TABLE `ods_t_user` (
>     `uid` int NOT NULL COMMENT 'user id',
>     `did` int COMMENT 'dept id',
>     `username` varchar(14) ,
>     `add_time` TIMESTAMP(3),
>     PRIMARY KEY (`uid`) NOT ENFORCED
>  ) WITH (
>      'connector' = 'jdbc',
>      'url' = 'jdbc:mysql://192.25.34.2:3306/demo?useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=UTC',
>      'driver' = 'com.mysql.cj.jdbc.Driver',
>      'username' = '*******',
>      'password' = '*******',
>      'table-name' = 'ods_t_user'
> );

4、将源表加载到目标表

错误1：Connector ‘mysql-cdc’ can only be used as a source. It cannot be used as a sink.

Flink SQL> insert into t_user select * from ods_t_user;
[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.table.api.ValidationException: Connector 'mysql-cdc' can only be used as a source. It cannot be used as a sink.

Flink SQL>

原因：方向搞反了，插入表应该是目标表

Flink SQL> insert into ods_t_user select * from t_user;
[ERROR] Could not execute SQL statement. Reason:
java.io.StreamCorruptedException: unexpected block data

Flink SQL>

错误2：unexpected block data
解决办法：
（1）更新jar包如下

[appuser@whtpjfscpt01 flink-1.17.1]$ ll lib/
total 223320
-rw-r--r-- 1 appuser appuser    196491 May 19 18:56 flink-cep-1.17.1.jar
-rw-r--r-- 1 appuser appuser    542620 May 19 18:59 flink-connector-files-1.17.1.jar
-rw-r--r-- 1 appuser appuser    266420 Sep 25 14:21 flink-connector-jdbc-3.1.1-1.17.jar
-rw-r--r-- 1 appuser appuser    345711 Sep 25 15:45 flink-connector-mysql-cdc-2.4.1.jar
-rw-r--r-- 1 appuser appuser    102472 May 19 19:02 flink-csv-1.17.1.jar
-rw-r--r-- 1 appuser appuser 135975541 May 19 19:13 flink-dist-1.17.1.jar
-rw-r--r-- 1 appuser appuser   8452171 Sep 19 10:20 flink-doris-connector-1.17-1.4.0.jar
-rw-r--r-- 1 appuser appuser    180248 May 19 19:02 flink-json-1.17.1.jar
-rw-r--r-- 1 appuser appuser  21043319 May 19 19:12 flink-scala_2.12-1.17.1.jar
-rw-r--r-- 1 appuser appuser  15407424 May 19 19:13 flink-table-api-java-uber-1.17.1.jar
-rw-r--r-- 1 appuser appuser  38191226 May 19 19:08 flink-table-planner-loader-1.17.1.jar
-rw-r--r-- 1 appuser appuser   3146210 May 19 18:56 flink-table-runtime-1.17.1.jar
-rw-r--r-- 1 appuser appuser    208006 May 17 18:07 log4j-1.2-api-2.17.1.jar
-rw-r--r-- 1 appuser appuser    301872 May 17 18:07 log4j-api-2.17.1.jar
-rw-r--r-- 1 appuser appuser   1790452 May 17 18:07 log4j-core-2.17.1.jar
-rw-r--r-- 1 appuser appuser     24279 May 17 18:07 log4j-slf4j-impl-2.17.1.jar
-rw-r--r-- 1 appuser appuser   2462364 Sep 19 11:30 mysql-connector-java-8.0.26.jar
[appuser@whtpjfscpt01 flink-1.17.1]$

（2）重启flink

[appuser@whtpjfscpt01 flink-1.17.1]$ bin/stop-cluster.sh 
Stopping taskexecutor daemon (pid: 41993) on host whtpjfscpt01.
Stopping standalonesession daemon (pid: 41597) on host whtpjfscpt01.
[appuser@whtpjfscpt01 flink-1.17.1]$ bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host whtpjfscpt01.
Starting taskexecutor daemon on host whtpjfscpt01.
[appuser@whtpjfscpt01 flink-1.17.1]$ bin/sql-client.sh

（3）重新执行

Flink SQL> SET execution.checkpointing.interval = 3s;
[INFO] Execute statement succeed.

Flink SQL> CREATE TABLE `t_user` (
>     `uid` int NOT NULL COMMENT 'user id',
>     `did` int COMMENT 'dept id',
>     `username` varchar(14) ,
>     `add_time` TIMESTAMP(3),
>     PRIMARY KEY (`uid`) NOT ENFORCED
> ) WITH (
>       'connector' = 'mysql-cdc',
>       'hostname' = '192.25.34.2',
>       'port' = '3306',
>       'username' = '*******',
>       'password' = '*******',
>       'database-name' = 'test',
>       'table-name' = 't_user'
>  );
[INFO] Execute statement succeed.

Flink SQL> CREATE TABLE `ods_t_user` (
>     `uid` int NOT NULL COMMENT 'user id',
>     `did` int COMMENT 'dept id',
>     `username` varchar(14) ,
>     `add_time` TIMESTAMP(3),
>     PRIMARY KEY (`uid`) NOT ENFORCED
>  ) WITH (
>      'connector' = 'jdbc',
>      'url' = 'jdbc:mysql://192.25.34.2:3306/demo?useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=UTC',
>      'driver' = 'com.mysql.cj.jdbc.Driver',
>      'username' = '*******',
>      'password' = '*******',
>      'table-name' = 'ods_t_user'
> );
[INFO] Execute statement succeed.

Flink SQL>

（4）成功执行

Flink SQL> insert into ods_t_user select * from t_user;
[INFO] Submitting SQL update statement to the cluster...
[INFO] SQL update statement has been successfully submitted to the cluster:
Job ID: c2e69d061f3777c031b0acb4ec03d13a

在这里插入图片描述

错误3：无目标表
在这里插入图片描述

 CREATE TABLE demo.ods_t_user (
  `uid` int(11) NOT NULL AUTO_INCREMENT COMMENT 'user id',
  `did` int(11) DEFAULT NULL COMMENT 'dept id',
  `username` varchar(14) DEFAULT NULL,
   `add_time` datetime DEFAULT NULL,
  PRIMARY KEY (`uid`) 
)

在这里插入图片描述
源表添加新纪录

INSERT INTO test.t_user(did,username)values('3','test');

目标表自动同步数据
在这里插入图片描述

程裕强
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
FLINK CDC 连接 postgresql 遇到的坑 【推荐】
lg4546的专栏
04-02 3522
用Flink cdc 连接 postgresql 数据库 实现数据传输，实时将数据从 postgresql 库同步到 postgresql库，也可以同步到 Kafka ，也可以同步到 ES，这次先讲下pg 到 pg的 这方面的资料网上非常的少，全是自己踩的坑。 1 前面讲了 要同步哪些包到 flink 的lib目录下，今天继续使用 flink cdc 数据同步 登录客户端：sql-client.sh embedded 成功后标志。 2 登录成功后需要建立管道流。 CREATE TAB...
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
flink-connector-mysql-cdc_2.0.2
ykqidev的博客
03-09 4385
官方参考文档：MySQL CDC Connector — Flink CDC documentationhttps://ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc.html 1、测试步骤： 1）开启MySQL Binlog并重启MySQL 2）启动HDFS集群 [hadoop@linux100 flink-1.13.5]$ start-dfs.sh 3）启动Flink集群 [hado
【flink实战】flink-connector-mysql-cdc导致mysql连接器报类型转换错误
最新发布
hiliang521的博客
06-16 1723
【flink实战】flink-connector-mysql-cdc导致mysql连接器报类型转换错误
flink Mysql CDC（动态加表）、postgresqlCDC 和 CDC无锁算法
a123147abc的博客
07-21 2013
flink Mysql CDC（动态加表）、postgresqlCDC 和 CDC无锁算法
Flink -sql -Mysql同步到ElasticSearch
wudonglianga的专栏
08-29 1304
1. 通过Flink Sql 将mysql 的数据同步到ElasticSearch 中 套路 官网示例： 官网地址： https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/elasticsearch.html#document-type CREATE TABLE myUserTable ( user_id STRING, user_name STRING uv BIGINT,
flink1.2 sql client连接hive出现的相关问题
gdz-zj的博客
06-03 4380
前言 最近空闲时间准备看一下flink sql&table模块，发现flink提供了sql client来直接进行交互式查询。体验了sql client的基本功能后准备去操作hive，kafka等数据源，但是在操作连接hive时就出现了相关问题，在此记录一下。本地使用软件的相关版本为flink1.12.3，hive2.1.0，hadoop2.7.3 连接准备 1.检查版本 由于flink和hive的版本过多，flink支持hive的版本也有限 2.下载依赖 根据本地flink和hive的版本，下载
flink学习之sql-client之踩坑记录
cclovezbf的博客
11-16 5163
注意当你使用这个模式运行一个流式查询的时候，Flink 会将结果持续的打印在当前的屏幕之上。如果这个流式查询的输入是有限的数据集， 那么Flink在处理完所有的数据之后，会自动的停止作业，同时屏幕上的打印也会相应的停止。--也可以不用hadoop 其实这里的时候就该反应过来，如果写过flink table api就知道连接hive的时候也是这两个参数。记住我们是搞flink遇到的这个问题，那么这个类和flink肯定相关，找到一个我们引入flinkjar最多的工程。网上的千篇一律是抄袭的。
Flink CDC MySQL同步Elasticsearch
07-06
构建好的flink-sql-connector-mysql-cdc-2.5版本
基于Flink CDC使用datastream方式全量增量同步mysql to mysql
03-04
基于Flink CDC使用datastream方式全量增量同步mysql to mysql 使用的是java语言，只需配置完源数据库和目标数据库信息，运行MysqlCDC中的main函数，即可实现多库多表同步。
flink mysql cdc 2.3 编译版本兼容flink1.4.x
09-01
只兼容mysql
Flink 官网table api例子异常排查
百物易用是苏生
07-13 6512
下载的flink 1.13.1版本，scala 2.11版本 按照官网，https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/try-flink/table_api/ 下载https://github.com/apache/flink-playgrounds这个代码 第一个异常： Error: A JNI error has occurred, please check your installation and .
flink SQL 体验遇到问题
为一个人走几座城
10-27 5693
一、 报错：[ERROR] Could not execute SQL statement. Reason: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'kafka' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath. Available fac
flink sql - 问题系列与解决系列
a123147abc的博客
11-30 6679
flink sql 调试-注意点1、布尔类型的坑2、cdc 表[kafka/pg等]，要写对表主键，特别是flink sql 有group by 的情况 1、布尔类型的坑 数据库 deleted = 'false' , flink sql 要替换为 deleted is false 2、cdc 表[kafka/pg等]，要写对表主键，特别是flink sql 有group by 的情况 现象：a 表主键是三个字段的联合主键[PRIMARY KEY (id,parent_id,entity_farm_
flink hive 异常以及解决办法
HiBoyljw的博客
09-27 2498
[ERROR] Could not execute SQL statement. Reason: java.lang.NoClassDefFoundError: Could not initialize class org.apache.flink.table.catalog.hive.factories.HiveCatalogFactoryOptions 原因：缺失依赖 解决办法： 新增hive-exec-3.1.0.jar 依赖 [ERROR] Could not execute SQL state
flink sql连接mysql
JavaBigData的博客
09-06 6879
[ERROR] Could not execute SQL statement. Reason: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier ‘com.mysql.jdbc.Driver’ that implements ‘org.apache.flink.table.factories.DynamicTableSourceFactory’ in the classpat.
【FlinkCdc】Flink MysqlCdc连接数据库失败，SSLHandshakeException怎么破？
m0_66705151的博客
05-22 2331
Flink MysqlCdc连接数据库失败，报SSLHandshakeException，应该怎么破？
基于 Dinky + FlinkSQL + Flink CDC 同步 MySQL 数据到 Elasticsearch、Kafka
MHXSH_1_0的博客
06-06 2968
是一个开箱即用的一站式实时计算平台以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架致力于流批一体和湖仓一体的建设与实践。本文以此为FlinkSQL可视化工具。使得使用标准 SQL 开发流式应用变得简单，免去代码开发。本文使用允许从 MySQL 数据库读取快照数据和增量数据。
Flink CDC 连接 postgresql 遇到的问题
H_X_P_的博客
04-08 6333
参考 Postgres CDC Connector Flink-cdc实时读postgresql flink cdc捕获postgresql数据 需要更改 postgresql.conf # 更改wal日志方式为logical wal_level = logical # minimal, replica, or logical # 更改solts最大数量（默认值为10），flink-cdc默认一张表占用一个 slotsmax_replication_slots = 20
flink cdc全量同步mysql
10-11
Flink CDC（Change Data Capture）是一种用于捕获数据更改的技术，可以用于实时同步 MySQL 数据库中的数据。Flink CDC 全量同步 MySQL 的步骤如下： 1. 配置 Flink CDC 连接 MySQL 数据库的地址、用户名和密码等信息。 2. 创建一个 Flink DataStream，使用 Flink CDC 读取 MySQL 数据库中的表数据。 3. 将读取到的数据写入到目标系统中（如 Kafka、HBase 等）。 需要注意的是，全量同步 MySQL 数据库中的数据可能会非常耗时，因此可以在同步时先对数据进行分片，逐一同步每个分片，以提高同步效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值