Flink Kafka实现端到端一致性代码实例

配置写入外部系统时消费者的事务隔离级别 为read_committed

Kafka 中默认的隔离级别 isolation.level 是 read_uncommitted，也就是可以读取未提交的数据。这样一来，flink在计算完结果输出数据后，外部应用就可以直接读取未提交的数据，对于事务性的保证就失效了。所以应该将隔离级别配置 为 read_committed，表示消费者遇到未提交的消息时，会停止从分区中消费数据，直到消息被标记为已提交才会再次恢复消费。当然，这样做的话，外部应用读取flink输出的数据就会有显著的延迟。

配置Flink与Kafka配置的事务提交的超时时间

Flink的Kafka连接器中配置的事务超时时间transaction.timeout.ms默认是1小时

而Kafka 集群配置的事务最大超时时间 transaction.max.timeout.ms 默认是 15 分钟

所以最后要配置的事务时间，应该小于Kafka配置的事务最大超时时间

<properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <flink.version>1.13.0</flink.version>
        <java.version>1.8</java.version>
        <scala.binary.version>2.12</scala.binary.version>
        <slf4j.version>1.7.30</slf4j.version>