在做flink连接到外部系统时,使用kafka时支持scan.startup.mode,用upaser kafka时报错:
报错原因
查看UpsertKafkaDynamicTableFactory源码发现requiredOptions和optionalOptions中都没有scan.startup.mode,在UpsertKafkaDynamicTableFactory中已经设置成earliest
而在kafka中则可以选择
latest和earliest区别
当分区下有提交的offset时:
earliest、latest都是从提交的offset开始消费
当分区下无提交的offset时:
earliest:从头开始消费从头开始消费
latest:从该分区新产生的数据开始消费