Flink SQL 以Upsert方式 Sink MySQL 测试

 一、Flink版本

1.17

二、结论

MySQL表和Flink映射表都设置主键即可达到Upsert的效果

分别测试了以下场景及结论：

MySQL表无主键 + Flink表无主键 = append模式；

MySQL表无主键 + Flink表有主键 = append模式；

MySQL表有主键 + Flink表无主键 = append模式，相同主键数据后续插入失败；

MySQL表有主键 + Flink表有主键 = upsert模式；

三、官方文档

官方文档地址：

https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/connectors/table/jdbc/

四、测试案例

1.DDL准备

--MySQL表
CREATE TABLE `flink_test_without_primary` (
  `id` int NOT NULL,
  `name` varchar(10) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

CREATE TABLE `flink_test_with_primary` (
  `id` int NOT NULL,
  `name` varchar(10) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

--***********************************************
--Flink映射表
--MySQL表无主键 + 映射表无主键
CREATE TABLE test1 (
  id INT NOT NULL,
  name STRING NOT NULL
) WITH (
  'connector'='jdbc',
  'url' = 'jdbc:mysql://localhost:3306/db_test?useUnicode=true&characterEncoding=UTF-8',
  'username' = 'hushhhh',
  'password' = '',
  'table-name' = 'flink_test_without_primary'
);

--MySQL表无主键 + 映射表有主键
CREATE TABLE test2 (
  id INT NOT NULL,
  name STRING NOT NULL,
  PRIMARY KEY(id) NOT ENFORCED
) WITH (
  'connector'='jdbc',
  'url' = 'jdbc:mysql://localhost:3306/db_test?useUnicode=true&characterEncoding=UTF-8',
  'username' = 'hushhhh',
  'password' = '',
  'table-name' = 'flink_test_without_primary'
);

--MySQL表有主键 + 映射表无主键
CREATE TABLE test3 (
  id INT NOT NULL,
  name STRING NOT NULL
) WITH (
  'connector'='jdbc',
  'url' = 'jdbc:mysql://localhost:3306/db_test?useUnicode=true&characterEncoding=UTF-8',
  'username' = 'hushhhh',
  'password' = '',
  'table-name' = 'flink_test_with_primary'
);

--MySQL表有主键 + 映射表有主键
CREATE TABLE test4 (
  id INT NOT NULL,
  name STRING NOT NULL,
  PRIMARY KEY(id) NOT ENFORCED
) WITH (
  'connector'='jdbc',
  'url' = 'jdbc:mysql://localhost:3306/db_test?useUnicode=true&characterEncoding=UTF-8',
  'username' = 'hushhhh',
  'password' = '',
  'table-name' = 'flink_test_with_primary'
);

2.测试数据

insert into test values(1,'李四');
insert into test values(2,'张三');
insert into test values(2,'张三丰');

3.结果

(1)MySQL表无主键+映射表无主键

(2)MySQL表无主键+映射表有主键

(3)MySQL表有主键+映射表无主键

第三条插入语句失败

报错信息

(4)MySQL表有主键+映射表有主键

在插入了三条数据后可以看到相同主键的第三条数据已经覆盖了第二条数据