flink sql 添加主键DDL案例:
我们以mysql为例
-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。
create table source(
id bigint,
name STRING,
PRIMARY KEY (id) NOT ENFORCED
)with ();
-- 创建sink表映射
create table sink(
id bigint,
name STRING,
PRIMARY KEY (id) NOT ENFORCED
)with ();
-- 将source表中的数据同步到sink表
insert into sink
select * from source;
添加主键带来的效果如下:
1、当sink表为空表时,source表的数据会全部追加到sink表。
2、当sink表中有数据时,source表的数据会把全量数据同步到sink表,并且会覆盖原有的数据。例如
同步数据之后会把相同主键的value值覆盖掉。例如
flink sql 不添加主键DDL案例:
-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。
create table source(
id bigint,
name STRING
)with ();
-- 创建sink表映射
create table sink(
id bigint,
name STRING
)with ();
-- 将source表中的数据同步到sink表
insert into sink
select * from source;
不添加主键的效果如下:
1、当sink表为空表时,会将source表的全部数据进行同步
2、当sink表中有数据时,(当mysql表中存在id为主键的情况下)不会将原有数据进行覆盖。例如:
注意:当mysql表中设置以id为主键时,不会把原有的数据覆盖,而是把没有的主键数据(增量数据)同步进来,不过这种情况会报错,原因是主键冲突。当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。
执行之后的结果表不会将原来的数据覆盖掉。如下图所示:
3、当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。
这里接着执行,这个数据结果就是flink DDL不加主键,mysql中也不加主键的数据结果:
总结:为什么会出现这样的情况是因为flink 添加primary key,导致底层触发upsert操作的原因。
以上观点纯属个人观点,如果有不对的地方,欢迎大家指正!!!