Flink代码消费Kafka到Kafka/hdfs保证端到端一致性

1:在 Kafka到Kafka 的数据传输过程可以通过以下方式来保证数据的端到端一致性

1. 使用 Kafka 的事务机制。Kafka 0.11 版本以后，引入了事务机制，可以保证在生产者向 Kafka 发送消息时，要么全部成功，要么全部失败。
   在使用事务机制时，需要将生产者的 transactional.id 参数设置为一个唯一的标识符，以便 Kafka 能够跟踪事务的状态。
   同时，需要在生产者发送消息之前调用 beginTransaction() 方法开始事务，在所有消息发送完成后调用 commitTransaction() 提交事务，或者在发生错误时调用 abortTransaction() 中止事务。

使用 Kafka 的事务机制:

```java
// 生产者配置
Properties producerProps = new Properties();
producerProps.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
producerProps.setProperty(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "my-transactional-id");
producerProps.setProperty(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
producerProps.setProperty(ProducerConfig.ACKS_CONFIG, "all");


// 创建生产者

KafkaProducer<String, String> producer = new KafkaProducer<>(producerProps, new StringSerializer(), new StringSerializer());

// 开始事务
producer.initTransactions();
try {
   
    // 开始事务
    producer.beginTransaction