【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11）

* `DeliveryGuarantee.NONE` 不提供任何保证：消息有可能会因 Kafka broker 的原因发生丢失或因 Flink 的故障发生重复。
* `DeliveryGuarantee.AT_LEAST_ONCE`: sink 在 checkpoint 时会等待 Kafka 缓冲区中的数据全部被 Kafka producer 确认。消息不会因 Kafka broker 端发生的事件而丢失，但可能会在 Flink 重启时重复，因为 Flink 会重新处理旧数据。
* `DeliveryGuarantee.EXACTLY_ONCE`: 该模式下，Kafka sink 会将所有数据通过在 checkpoint 时提交的事务写入。因此，如果 consumer 只读取已提交的数据（参见 Kafka consumer 配置 `isolation.level`），在 Flink 发生重启时不会发生数据重复。然而这会使数据在 checkpoint 完成时才会可见，因此请按需调整 checkpoint 的间隔。请确认事务 ID 的前缀（transactionIdPrefix）对不同的应用是唯一的，以保证不同作业的事务 不会互相影响！此外，强烈建议将 Kafka 的事务超时时间调整至远大于 checkpoint 最大间隔 + 最大重启时间，否则 Kafka 对未提交事务的过期处理会导致数据丢失。


## 05 指标监控


Kafka sink 会在不同的[范围（Scope）]( )中汇报下列指标。




| 范围 | 指标 | 用户变量 | 描述 | 类型 |
| --- | --- | --- | --- | --- |
| 算子 | currentSendTime | n/a | 发送最近一条数据的耗时。该指标反映最后一条数据的瞬时值。 | Gauge |


## 06 项目源码实战


### 6.1 包结构


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/04a49613acae4612b4930f0527e9d4ee.jpeg)


### 6.2 pom.xml依赖

<?xml version="1.0" encoding="UTF-8"?>

4.0.0

<groupId>com.xsy</groupId>
<artifactId>aurora_flink_connector_kafka</artifactId>
<version>1.0-SNAPSHOT</version>

<!--属性设置-->
<properties>
    <!--java_JDK版本-->
    <java.version>11</java.version>
    <!--maven打包插件-->
    <maven.plugin.version>3.8.1</maven.plugin.version>
    <!--编译编码UTF-8-->
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <!--输出报告编码UTF-8-->
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <!--json数据格式处理工具-->
    <fastjson.version>1.2.75</fastjson.version>
    <!--log4j版本-->
    <log4j.version>2.17.1</log4j.version>
    <!--flink版本-->
    <flink.version>1.18.0</flink.version>
    <!--scala版本-->
    <scala.binary.version>2.11</scala.binary.version>
</properties>

<!--通用依赖-->
<dependencies>

    <!-- json -->
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>${fastjson.version}</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-java -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.