基于zookpeeker的kafka简单实战

事情就是这么个事

1.安装zookpeeker,并运行
2.安装kafka服务并运行，kafka自动加入zookeeper
3.编写消费者、生产者代码
4.为了方便查看zk和kafka节点文件信息，推荐安装一些插件，此处以goland举例
zk插件:zookeeper tool
kafka可视化软件Offset Explorer 2

5.代码背景，一个broker,多个消费者组，每个消费者组两个消费者，对其中消费者组可以自定义加入的初始偏移量

消费者代码
消费者组中，不允许指定消费者组中的消费者固定消费某个分区
可以单独开一个消费者，指定消费某个分区

package main

import (
	"context"
	"fmt"
	"log"
	"os"
	"os/signal"
	"sync"

	"github.com/IBM/sarama"
)

const (
	broker = "localhost:9092" // Kafka broker 地址
	topic  = "my-topic"       // Kafka Topic 名称
)

func main() {
	// 创建两个生产者，分别发送消息到不同的分区

	// 创建消费者组
	consumerGroup, err := newConsumerGroup([]string{broker})
	if err != nil {
		log.Fatalf("Error creating consumer group: %v", err)
	}
	defer consumerGroup.consumer.Close()

	// 启动消费者组，创建两个消费者
	consumerGroup.startConsumers(topic, 2)

	// 等待中断信号
	sig := make(chan os.Signal, 1)
	signal.Notify(sig, os.Interrupt)
	<-sig
	log.Println("Shutting down...")
}

// producer 结构体表示一个 Kafka 生产者
type producer struct {
	sync.Mutex
	producer sarama.SyncProducer
}

// consumerGroup 结构体表示一个 Kafka 消费者组
type consumerGroup struct {
	consumer sarama.ConsumerGroup
}

// newConsumerGroup 创建一个新的 Kafka 消费者组
func newConsumerGroup(brokers []string) (*consumerGroup, error) {
	config := sarama.NewConfig()
	config.Consumer.Group.Rebalance.Strategy = sarama.BalanceStrategyRange
	config.Version = sarama.V2_6_0_0

	consumer, err := sarama.NewConsumerGroup(brokers, "my-consumer-group4", config)
	if err != nil {
		return nil, err
	}

	return &consumerGroup{consumer: consumer}, nil
}

// startConsumers 启动指定数量的消费者
func (cg *consumerGroup) startConsumers(topic string, numConsumers int) {
	for i := 0; i < numConsumers; i++ {
		go cg.startConsumer(topic, i)
	}
}

// startConsumer 启动一个消费者
func (cg *consumerGroup) startConsumer(topic string, id int) {
	consumerID := fmt.Sprintf("consumer-%d", id)
	handler := &consumerGroupHandler{
		startingOffset: 5,
	}
	for {

		err := cg.consumer.Consume(context.Background(), []string{topic}, handler)
		if err != nil {
			log.Printf("[%s] Error from consumer: %v", consumerID, err)
		}
	}
}

// consumerGroupHandler 实现了 sarama.ConsumerGroupHandler 接口
type consumerGroupHandler struct {
	consumerID     string
	startingOffset int64
}

// Setup 实现 sarama.ConsumerGroupHandler 接口的 Setup 方法
func (h *consumerGroupHandler) Setup(sess sarama.ConsumerGroupSession) error {
	sess.ResetOffset("my-topic", 1, 2, "")//设置初始偏移量
	return nil
}

// Cleanup 实现 sarama.ConsumerGroupHandler 接口的 Cleanup 方法
func (h *consumerGroupHandler) Cleanup(sarama.ConsumerGroupSession) error {
	return nil
}

// ConsumeClaim 实现 sarama.ConsumerGroupHandler 接口的 ConsumeClaim 方法
func (h *consumerGroupHandler) ConsumeClaim(session sarama.ConsumerGroupSession, claim sarama.ConsumerGroupClaim) error {
	for message := range claim.Messages() {
		fmt.Printf("[%s] Message claimed: partition = %d, offset = %d, value = %s\n",
			session.MemberID(), message.Partition, message.Offset, string(message.Value))
		session.MarkMessage(message, "")
	}

	return nil

}

2.生产者代码，直接拉这个代码
https://github.com/zeromicro/go-queue

3.偏移量量、消息队列(完整信息)、消费者组是在kafka上才能看到，

4.zk只是保存了broker的id信息，主题信息，分区状态