Flink源码解读--FlinkKafkaConsumer09

本文详细解析了Flink消费Kafka0.9.x数据的过程,介绍了FlinkKafkaConsumer09的API使用,包括配置参数、消费者线程与分区的关系,以及Flink的容错机制和水位线概念。强调了消费者线程数应与主题分区数匹配以确保高效消费。
摘要由CSDN通过智能技术生成

1、简介

Flink消费Kafka的数据(这里默认kafka版本是0.9.x),非常简单,只需要提供以下几项即可:

1、maven依赖
2、指定topic name(s)
3、指定DeserializationSchema
4、指定kafka的properties

其中,properties在kafka 0.9.x中,只需要配置两个选项即可,例如:

val kafkaProps = new Properties()
  kafkaProps.setProperty("bootstrap.servers", "localhost:9092")
  kafkaProps.setProperty("group.id", "flink consumer")

因此,Flink提供了一个high level的API来消费kafka的topic中的数据:

这里写图片描述

2、FlinkKafkaConsumer09解读

此类位于org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09,提供了4个API来接受不同的参数输入:
这里写图片描述
其中,前3个API最终都被转换为第4个API,代码如下:

public FlinkKafkaConsumer09(String topic, DeserializationSchema<T> valueDeserializer, Properties props) {
        this(Collections.singletonList(topic), valueDeserializer, props);
    }
public FlinkKafkaConsumer09(String topic, KeyedDeserializationSchema<T> deserializer, Properties props) {
        this(Collections.singletonList(topic), deserializer, props);
    }
public FlinkKafkaConsumer09(List<String> topics, DeserializationSchema<T> deserializer, Properties props) {
        this(topics, new
  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值