2024年大数据最新【极数系列】Flink集成KafkaSink &amp； 实时输出数据（11），阿里P8大牛从零开始教大数据开发开源框架

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

主类：KafkaSinkStreamingJob

## 02 连接器依赖


### 2.1 kafka连接器依赖

    <!--kafka依赖 start-->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka</artifactId>
        <version>3.0.2-1.18</version>
    </dependency>
    <!--kafka依赖 end-->

### 2.2 base基础依赖

 若是不引入该依赖，项目启动直接报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/connector/base/source/reader/RecordEmitter

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-base</artifactId>
        <version>1.18.0</version>
    </dependency>

## 03 使用方法


Kafka sink 提供了构建类来创建 `KafkaSink` 的实例

DataStream stream = …;

KafkaSink sink = KafkaSink.builder()
.setBootstrapServers(brokers)
.setRecordSerializer(KafkaRecordSerializationSchema.builder()
.setTopic(“topic-name”)
.setValueSerializationSchema(new SimpleStringSchema())
.build()
)
.setDeliveryGuarantee(DeliveryGuarantee.AT_LEAST_ONCE)
.build();

stream.sinkTo(sink);

以下属性在构建 KafkaSink 时是必须指定的：
Bootstrap servers, setBootstrapServers(String)
消息序列化器（Serializer）, setRecordSerializer(KafkaRecordSerializationSchema)
如果使用DeliveryGuarantee.EXACTLY_ONCE 的语义保证，则需要使用 setTransactionalIdPrefix(String)

## 04 序列化器


1. 构建时需要提供 `KafkaRecordSerializationSchema` 来将输入数据转换为 Kafka 的 `ProducerRecord`。Flink 提供了 schema 构建器 以提供一些通用的组件，例如消息键（key）/消息体（value）序列化、topic 选择、消息分区，同样也可以通过实现对应的接口来进行更丰富的控制。
2. 其中消息体（value）序列化方法和 topic 的选择方法是必须指定的，此外也可以通过 `setKafkaKeySerializer(Serializer)` 或 `setKafkaValueSerializer(Seriali