demo flink写入kafka_Flink读写Kafka

Flink读写Kafka

在Flink中，我们分别用Source Connectors代表连接数据源的连接器，用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。

Apache Kafka Source Connectors

Apache Kafka 是一个分布式的流平台，其核心是一个分布式的发布-订阅消息系统，被广泛用于消费与分发事件流。

Kafka将事件流组织成为topics。一个topic是一个事件日志(event-log)，保证读入事件的顺序为事件写入的顺序。为了实现可扩展，topic可以被分为多个partition，并分布在集群中的各个节点中。但是在topic分区后，由于consumers可能会从多个partition读入数据，所以此时只能在partition级别保证事件的顺序。在Kafka中，当前读的位置称为偏移量(offset)。

可以通过sbt或maven构建Flink Kafka connector 的依赖，下面是一个sbt的例子：

// https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafkalibraryDependencies+= "org.apache.flink"%% "flink-connector-kafka"% "1.8.1"

Flink Kafka connector以并行的方式读入事件流，每个并行的source

task 都可以从一个或多个partition读入数据。Task对于每个它当前正在读的partition，都会追踪当前的offset，并将这些offset数据存储到它的检查点数据中。当发生故障，进行恢复时，offset被取出并重置，使得数据可以在上次检查点时的offset继续读数据。Flink

Kafka connector并不依赖于Kafka 本身的offset-tracking 机制(也就是consumer

groups机制)。下图显示的是partitions被分配给不同的source

task：

下面是一个创建一个 kafka source 的例子：

val properties = new Properties()

properties.setProperty("bootstrap.servers", "localhost:9092")

properties.setProperty("group.id", "test")

val stream: DataStream[String] = env.addSource(

new FlinkKafkaConsumer[String](

"topic",

new SimpleStringSchema(),

properties))

这个FlinkKafkaConsumer 构造函数有3 个参数，第一个参数定义的是读入的目标topic名。这里