【kafka】Golang的Sarama包手动提交偏移量

如何手动提交kafka偏移量

Golang的Sarama库中的Consumer Group在消费数据时，默认情况下会自动提交偏移量。Consumer Group中的每个分区消费者在处理完消息后，会自动将偏移量提交到Kafka的__consumer_offsets主题。这样下次消费者启动时，就可以从上次处理过的消息的下一个位置开始消费。
但是，你可以根据需要配置Sarama消费者来更改这个自动提交的行为。在Sarama库中，Config结构体中的Consumer.Offsets字段提供了偏移量提交相关的配置选项。例如，你可以设置AutoCommit.Enable为false来禁用自动提交偏移量，然后使用MarkOffset和CommitOffsets方法手动提交偏移量。

下面是一个简单的例子，演示如何禁用自动提交偏移量：

代码示例：

package main

import (
    "fmt"
    "github.com/Shopify/sarama"
    "os"
    "os/signal"
    "sync"
    "time"
)

func main() {
    config := sarama.NewConfig()
    config.Version = sarama.V2_6_0_0
    config.Consumer.Return.Errors = true
    config.Consumer.Offsets.Initial = sarama.OffsetOldest
    config.Consumer.Offsets.AutoCommit.Enable = false // Disable auto commit

    brokers := []string{"localhost:9092"}
    groupID := "my-group-id"

    client, err := sarama.NewConsumerGroup(brokers, groupID, config)
    if err != nil {
        panic(err)
    }
    defer client.Close()

    consumer := Consumer{}

    wg := &sync.WaitGroup{}
    wg.Add(1)

    go func() {
        defer wg.Done()
        for {
            err := client.Consume(context.Background(), []string{"my-topic"}, &consumer)
            if err != nil {
                panic(err)
            }
        }
    }()

    sigterm := make(chan os.Signal, 1)
    signal.Notify(sigterm, os.Interrupt)
    <-sigterm

    client.Close()
    wg.Wait()
}

type Consumer struct{}

func (consumer *Consumer) Setup(_ sarama.ConsumerGroupSession) error   { return nil }
func (consumer *Consumer) Cleanup(_ sarama.ConsumerGroupSession) error { return nil }
func (consumer *Consumer) ConsumeClaim(sess sarama.ConsumerGroupSession, claim sarama.ConsumerGroupClaim) error {
    for msg := range claim.Messages() {
        fmt.Printf("Message topic:%q partition:%d offset:%d\n", msg.Topic, msg.Partition, msg.Offset)

        // Process the message...

        // Manually mark the offset and commit
        sess.MarkOffset(msg.Topic, msg.Partition, msg.Offset, "")
        sess.Commit()
    }

    return nil
}

在这个示例中，我们禁用了自动提交偏移量，并在ConsumeClaim方法中手动提交偏移量。当需要手动控制偏移量提交时，这种方式能提供更大的灵活性。