Flink流连接器之Kafka【二】【Kafka Offset设置、容错、主题和分区动态发现】

一.Kafka offset 配置

Flink Kafka Consumer可以配置Kafka分区的起始位置。
代码：

//获取数据源 kafka
val consumer : FlinkKafkaConsumer09[String] = new FlinkKafkaConsumer09[String](
 "spark", new SimpleStringSchema(), properties
)
//val hashMap : util.Map[KafkaTopicPartition, java.lang.Long] = new util.HashMap[KafkaTopicPartition, java.lang.Long]()
consumer.setStartFromEarliest() // 尽可能从最早的记录开始消费
consumer.setStartFromLatest() // 从最新的记录开始消费
consumer.setStartFromGroupOffsets() // 根据组的offset位置开始消费
//consumer.setStartFromTimestamp(milliseconds) // 在kafka0.9中去掉
consumer.setStartFromSpecificOffsets(new util.HashMap[KafkaTopicPartition, java.lang.Long]