flink学习(一) —Flink-Kafka-Connector基本描述

 

一、flink-connector-kafka 功能简介
       flink Kafka Connector 是 flink 内置的Kafka连接器，包含了从topic读取数据的Flink Kafka Consumer 和 向topic写入数据的flink kafka producer，除了基本功能意外还提供了基于 checkpoint 机制提供了完美的容错能力。
本片文章主要是Flink Kafka Consumer 消费数据以及分区分配等。本文以及后续版本基于flink 1.8.1 和 flink-connector-kafka-0.10_2.11版本(这里kafka-0.10版本比 kafka-0.9 的版本应该每个topic分区添加基于时间索引文件，这样就是可以指定时间戳进行消费)。

二、KafkaConsumerBase 描述
       关于flink对不同版本的kafka有不同的实现，这里就不做过多描述，具体见flink 官网 。下面我们看一个代码实例，就是flink消费kafka中的数据。

public static void main(String[] args) {
    StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
    Properties properties = new Properties();
    properties.setProperty("bootstrap.servers", "localhost:9092");
    properties.setProperty("group.id"