flink sql primary key

flink sql 添加主键DDL案例:

我们以mysql为例

-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。
create table source(
  id bigint, 
  name STRING,
 PRIMARY KEY (id) NOT ENFORCED
)with ();
-- 创建sink表映射
create table sink(
  id bigint,
  name STRING,
 PRIMARY KEY (id) NOT ENFORCED
)with ();
-- 将source表中的数据同步到sink表
insert into sink
select * from source;

添加主键带来的效果如下:

1、当sink表为空表时,source表的数据会全部追加到sink表。

2、当sink表中有数据时,source表的数据会把全量数据同步到sink表,并且会覆盖原有的数据。例如

在这里插入图片描述
在这里插入图片描述
同步数据之后会把相同主键的value值覆盖掉。例如
在这里插入图片描述

flink sql 不添加主键DDL案例:

-- 创建source表映射,注意:这里并不是真正的创建物理表,而是该表在数据库中已经存在。
create table source(
  id bigint,
  name STRING
)with ();
-- 创建sink表映射
create table sink(
  id bigint,
  name STRING
)with ();
-- 将source表中的数据同步到sink表
insert into sink
select * from source;

不添加主键的效果如下:

1、当sink表为空表时,会将source表的全部数据进行同步

2、当sink表中有数据时,(当mysql表中存在id为主键的情况下)不会将原有数据进行覆盖。例如:

注意:当mysql表中设置以id为主键时,不会把原有的数据覆盖,而是把没有的主键数据(增量数据)同步进来,不过这种情况会报错,原因是主键冲突。当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。
在这里插入图片描述
在这里插入图片描述
执行之后的结果表不会将原来的数据覆盖掉。如下图所示:
在这里插入图片描述

3、当mysql表中没有设置id为主键时,flink会把source表的数据以追加的方式追加到sink表。

这里接着执行,这个数据结果就是flink DDL不加主键,mysql中也不加主键的数据结果:
在这里插入图片描述

总结:为什么会出现这样的情况是因为flink 添加primary key,导致底层触发upsert操作的原因。

以上观点纯属个人观点,如果有不对的地方,欢迎大家指正!!!

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值