【Flink基础】-- 写入 Kafka 的两种方式

最新推荐文章于 2024-10-08 21:29:10 发布

往事随风ing

最新推荐文章于 2024-10-08 21:29:10 发布

阅读量4k

点赞数 4

分类专栏： Scala Flink（理论+实战）文章标签： flink kafka

本文链接：https://blog.csdn.net/high2011/article/details/105645790

版权

Flink（理论+实战）同时被 2 个专栏收录

50 篇文章 14 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

Scala

68 篇文章 4 订阅

订阅专栏

本文介绍了Apache Flink向Kafka写入数据的两种方法：一是通过Robin的方式实现exactly-once语义，利用round-robin策略分配数据到Kafka的各个分区；二是使用fixedPartition，确保每个Kafka分区对应一个FlinkKafkaProducer，并行度应不小于topic分区数。详细配置与注意事项也在文中提及。

摘要由CSDN通过智能技术生成

一、Java 版本

二、Scala 版本

方式一：用 Robin 的方式写入 Kafka

方式二：fixedPartition

一、Java 版本

package com.ky.flink.examples.sinks;

import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;

import java.util.Optional;
import java.util.Properties;

public class KafkaSinkUtils {

    /**
     * 使用 robin 方式写入 kafka： Flink 分区中的数据将被轮流分配至 Kafka 的各个分区
     * 1、使用此方法可以不用设置 sink 的并行度
     * 2、创建 FlinkKafkaProducer 时，指定空的 customPartitioner，flink 会把 一个 sink subtask 的数据以 round-robin 方式写入 kafka 的各个分区
     *
     * @param outputTopic        topic 名称
     * @param producerProperties 配置信息
     * @re