kafka 收不到消息_kafka消费者

消费者和消费者组

消费者负责定义kafka中的topic，并且从订阅的消息中拉取消息。

消费者组是指把多个消费者逻辑上分配到一个组里，以组为单位进行消费数据。

上图的含义指的是某个topic有4个分区，每个分区分布在不同的server上，有两个消费者组，ConsumerGroup A 和ConsumerGroup B, ConsumerGroup A 有两个消费者C1和C2,ConsumerGroup B有4个消费者C1、C2、C3和C4，两个消费者组是独立的，彼此不影响的，每个消费者组里的消费者共同订阅某个topic，以前消费里面的消息。

消费者和消费者组的这样模式，可以让整体的消费能力具备横向伸缩，我们可以增加或者减少消费者的个数，来提供或者降低整体的消费能力。

1、每个分区只能被一个消费者组里的一个消费者进行消费，两个消费者组互补影响
2、消费者的数量最多等于分区的数量，如果多于分区的数量，消费者是收不到消息的

上面分区分配逻辑是基于默认的分区分配策略。可以通过参数来控制消费者和主题分区直接的分配策略。

partition.assignment.strategy

消息投递方式

一般有两种消息投递方式:点对点模式和发布订阅模式

• 点对点模式，是基于队列，生产者发送消息到消息队列，消息消费者从队列中接收消息
• 发布订阅模式，基于主题，生产者发送消息到主题，消费者消费主题中的消息，生产者和消费者是相互独立的，发布订阅模式在消息的一对多广播时采用。kafka同时支持这两种模式

如果所有消费者属于一个消费者组，那么消息都会被均衡的投递给每个消费者，也就是每个消费者只会被一个消费者处理，这就类似点对点模式

如果所有消费者属于不同的消费者组，那么所有消息会被广播到所有的消费者，也就是每条消息会被所有消费者处理，这就相当于发布订阅模式

客户端开发

基本过程

1. 配置消费者参数
2. 创建消费者实例
3. 订阅主题
4. 拉去消息进行消费
5. 提交位移offset
6. 关闭消费者实例

public class KafkaConsumerAnalysis {
    
    public static final String brokerList = "localhost:9092";
    public static final String topic = "topic-demo";
    public static final String groupId = "group.demo";
    public static final AtomicBoolean isRunning = new AtomicBoolean(true);
 
    public static Properties initConfig() {
    
        Properties props = new Properties();
        props.put("key.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("bootstrap.servers", brokerList);
        props.put("group.id", groupId);
        props.put("client.id", "consumer.client.id.demo");
 
        //props.put(ConsumerConfig.INTERCEPTOR_CLASSES_CONFIG,ConsumerInterceptorTTL.class.getName());
 
        return props;
    }
 
    public static void main(String[] args) {
    
        Properties props = initConfig();
        KafkaConsumer<String, String> consu