Kafka的assign和subscribe订阅模式和手动提交偏移量(单个分区、多分区)

Kafka的assign和subscribe订阅模式和手动提交偏移量

本文只作记录，原文在相应的后面都附上了。如有侵权，请联系进行删除。

---

前言

使用Apache Kafka消费者组时，有一个为消费者分配对应分区partition的过程，可使用“自动”subscribe和“手动”assign的方式处理消息。

KafkaConsumer.subscribe()：为consumer自动分配partition，有内部算法保证topic-partition以最优的方式均匀分配给同group下的不一样consumer。
KafkaConsumer.assign()：为consumer手动、显示的指定须要消费的topic-partitions，不受group.id限制，至关与指定的group无效（this method does not use the consumer’s group management）。
注意：
1.consumer.assign()是不会被消费者的组管理功能管理的，他相对因而一个临时的，不会改变当前group.id的offset，好比：在使用consumer.subscribe(Arrays.asList(topicName));时offset为20，若是再经过assign方式已经获取了消息后，在下次经过consumer.subscribe(Arrays.asList(topicName));来获取消息时offset仍是20，仍是会获取20之后的消息。
2.若是两种模式同时使用的话会报错
3.需要引入依赖，pom文件配置如下：（手敲的，有问题请自行百度）

<dependency>
	<groupId>org.apache.kafka</groupId>
	<artifactId>kafka-clients</artifactId>
	<version>0.9.0.0</version>
<dependency>

---

一、topic只有一个分区

原文地址：http://www.javashuo.com/article/p-nsgkrmkb-ga.html

package com.guoxin.sydjtxry;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.CommandLineRunner;
import org.springframework.stereotype.Component;

/**
 * Created by HuiQ on 2019-10-30.
 */
@Component
//实现CommandLineRunner接口，在springboot启动加载bean后自动运行其run方法。
public class KafkaConsumerTask implements CommandLineRunner {
   

    private static final Logger LOG = LoggerFactory.getLogger(KafkaConsumerTask.class);

    @Override
    public void run(String... args) {
   
        // 全量消费
        SydjtxryConsumer.consumer();
    }
}

package com.guoxin.sydjtxry;

import kafka.utils.ShutdownableThread;
import net.sf.json.JSONObject;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.Arrays;
import java.util.Collections;
import java.util.Properties;
import java.util.UUID;

public class SydjtxryConsumer extends ShutdownableThread
{
   
    private static final Logger LOG = LoggerFactory.getLogger(SydjtxryConsumer.class);

    private final KafkaConsumer<String, String> consumer;

    private final String topic;

    private Long rowcount = 0L;
    // 一次请求的最大等待时间
    private final int waitTime = 10000;
    // consumer从指定的offset处理
    private Long seekOffset = 1936170L;

    // Broker链接地址
    private final String bootstrapServers = "bootstrap.servers";

    /**
     * NewConsumer构造函数
     * @param topic 订阅的Topic名称
     */
    public SydjtxryConsumer(String topic)
    {
   
		super("KafkaConsumerExample", false);
        Properties props = new Properties();

        KafkaProperties kafkaProc = KafkaProperties.getInstance();
        // Broker链接地址
        props.put(bootstrapServers,
            kafkaProc.getValues(bootstrapServers, "192.110.110.33:9092"));
        props.put("enable.auto.commit", "true"); // 自动提交
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        consumer = new KafkaConsumer<String, String>(props);
        this.topic = topic;
    }

    /**
     * 订阅Topic的消息处理函数
     */
    public void doWork()
    {
   
        // 订阅
        TopicPartition partition = new TopicPartition(this.topic, 0);
        consumer.assign(Arrays.asList(partition));
        consumer.seek(partition, seekOffset);
        compareOffset = seekOffset;

        // 消息消费请求
        ConsumerRecords<String, String> records = consumer.poll(waitTime);
        if (records.isEmpty()) {
   
            System.out.println("消费者没有消费到数据------->&