demo flink写入kafka_Flink 写入数据到 Kafka

Flink 写入数据到Kafka

前言

通过Flink官网可以看到Flink里面就默认支持了不少sink，比如也支持Kafka sink connector(FlinkKafkaProducer)，那么这篇文章我们就来看看如何将数据写入到Kafka。

准备

Flink里面支持Kafka 0.8、0.9、0.10、0.11.

这里我们需要安装下Kafka，请对应添加对应的Flink Kafka connector依赖的版本，这里我们使用的是0.11 版本：

org.apache.flink

flink-connector-kafka-0.11_2.11

${flink.version}

目前我们先看下本地Kafka是否有这个student-write topic呢？需要执行下这个命令：

➜ kafka_2.11-0.10.2.0 ./bin/kafka-topics.sh --list --zookeeper localhost:2181

__consumer_offsets

lambda-pipeline-topic

metrics

my-topic

my-topic-thread1

my-topic-thread2

qb_ad

qbad

qbad_test

student

topic1

wikipedia

wikipedia_stream

如果等下我们的程序运行起来后，再次执行这个命令出现student-write topic，那么证明我的程序确实起作用了，已经将其他集群的Kafka数据写入到本地Kafka了。

程序代码

public class FlinkSinkToKafka {

private static final String READ_TOPIC = "student";

public static void main(String[] args) throws Exception {

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

Properties props = new Properties();

props.put("bootstrap.servers", "localhost:9092");

props.put("zookeeper.connect",