【Flink 实战系列】Incremental snapshot for tables requires primary key, but table test.ab doesn’t have pri

JasonLee实时计算

已于 2022-12-06 15:09:21 修改

阅读量2.2k

点赞数

分类专栏： Flink 实战系列文章标签： flink java 数据库

于 2022-12-01 21:07:43 首次发布

本文链接：https://blog.csdn.net/xianpanjia4616/article/details/128138834

版权

Flink 实战系列专栏收录该内容

69 篇文章 474 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

在使用Flink CDC将数据同步到Hudi时遇到错误，提示表增量快照需要主键。原因是Flink在进行数据切分时依赖主键，若表无主键，ChunkUtils的getChunkKeyColumn方法会抛出异常。解决方案包括在MySQL表中添加主键或禁用incremental.snapshot.enabled选项，但后者将失去并发读取优势。

摘要由CSDN通过智能技术生成

【Flink 实战系列】Incremental snapshot for tables requires primary key, but table test.ab doesn’t have primary key

问题背景

今天有同学问了这么一个问题，在使用 Flink CDC 同步数据到 Hudi 时，任务抛出异常，完整的报错信息如下所示：

org.apache.flink.util.FlinkException: Global failure triggered by OperatorCoordinator for 'Source: mysql_cdc[5]' (operator 1fcd650af251e8033f91cba4d16ab1ec).
	at org.apache.flink.runtime.operators.coordination.OperatorCoordinatorHolder$LazyInitializedCoordinatorContext.failJob(OperatorCoordinatorHolder.java:556)
	at org.apache.flink.runtime.operators.coordination.RecreateOnResetOperatorCoord