golang kafka sarama 消费者组

之前用kafka,没在网上找到关于 sarama消费者组的代码。后来才在源码里面找到例子,现在稍微修改了下代码,记录一下。

package main

import (
	"context"
	"github.com/Shopify/sarama"
	log "github.com/sirupsen/logrus"
	"os"
	"os/signal"
	"sync"
	"syscall"
	"time"
)

type Kafka struct {
	brokers []string
	topics  []string
	//OffsetNewest int64 = -1
	//OffsetOldest int64 = -2
	startOffset       int64
	version           string
	ready             chan bool
	group             string
	channelBufferSize int
}

func NewKafka() *Kafka {
	return &Kafka{
		brokers:           brokers,
		topics:            []string{
			topics,
		},
		group:             group,
		channelBufferSize: 2,
		ready:             make(chan bool),
		version:"1.1.1",
	}
}

var brokers = []string{"192.168.33.209:9092"}
var topics = "wsjtest"
var group = "39"

func (p *Kafka) Init() func() {
	log.Infoln("kafka init...")

	version, err := sarama.ParseKafkaVersion(p.version)
	if err != nil {
		log.Fatalf("Error parsing Kafka version: %v", err)
	}
	config := sarama.NewConfig()
	config.Version = version
	config.Consumer.Group.Rebalance.Strategy = sarama.BalanceStrategyRange // 分区分配策略
	config.Consumer.Offsets.Initial = -2                    // 未找到组消费位移的时候从哪边开始消费
	config.ChannelBufferSize = p.channelBufferSize // channel长度

	ctx, cancel := context.WithCancel(context.Background())
	client, err := sarama.NewConsumerGroup(p.brokers, p.group, config)
	if err != nil {
		log.Fatalf("Error creating consumer group client: %v", err)
	}

	wg := &sync.WaitGroup{}
	wg.Add(1)
	go func() {
		defer func() {
			wg.Done()
			//util.HandlePanic("client.Consume panic", log.StandardLogger())
		}()
		for {
			if err := client.Consume(ctx, p.topics, p); err != nil {
				log.Fatalf("Error from consumer: %v", err)
			}
			// check if context was cancelled, signaling that the consumer should stop
			if ctx.Err() != nil {
				log.Println(ctx.Err())
				return
			}
			p.ready = make(chan bool)
		}
	}()
	<-p.ready
	log.Infoln("Sarama consumer up and running!...")
	// 保证在系统退出时,通道里面的消息被消费
	return func() {
		log.Info("kafka close")
		cancel()
		wg.Wait()
		if err = client.Close(); err != nil {
			log.Errorf("Error closing client: %v", err)
		}
	}
}



// Setup is run at the beginning of a new session, before ConsumeClaim
func (p *Kafka) Setup(sarama.ConsumerGroupSession) error {
	// Mark the consumer as ready
	close(p.ready)
	return nil
}

// Cleanup is run at the end of a session, once all ConsumeClaim goroutines have exited
func (p *Kafka) Cleanup(sarama.ConsumerGroupSession) error {
	return nil
}

// ConsumeClaim must start a consumer loop of ConsumerGroupClaim's Messages().
func (p *Kafka) ConsumeClaim(session sarama.ConsumerGroupSession, claim sarama.ConsumerGroupClaim) error {

	// NOTE:
	// Do not move the code below to a goroutine.
	// The `ConsumeClaim` itself is called within a goroutine, see:
	// https://github.com/Shopify/sarama/blob/master/consumer_group.go#L27-L29
	// 具体消费消息
	for message := range claim.Messages() {
		msg := string(message.Value)
		log.Infof("msg: %s", msg)
		time.Sleep(time.Second)
		//run.Run(msg)
		// 更新位移
		session.MarkMessage(message, "")
	}
	return nil
}

func main()  {
	k := NewKafka()
	f := k.Init()

	sigterm := make(chan os.Signal, 1)
	signal.Notify(sigterm, syscall.SIGINT, syscall.SIGTERM)
	select {
	case <-sigterm:
		log.Warnln("terminating: via signal")
	}
	f()
}

 

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
Golang 中建立与 Kafka 的连接,你可以使用第三方库(如 sarama)来实现。下面是一个示例代码: ```go package main import ( "fmt" "log" "os" "github.com/Shopify/sarama" ) func main() { // Kafka 集群的地址和端口 brokerList := []string{"localhost:9092"} // 创建 Kafka 生产者配置 config := sarama.NewConfig() config.Version = sarama.V2_8_0_0 config.ClientID = "my-kafka-client" // 建立与 Kafka 集群的连接 client, err := sarama.NewClient(brokerList, config) if err != nil { log.Fatalf("无法连接到 Kafka 集群: %v", err) } defer client.Close() // 打印连接成功的日志 fmt.Println("成功建立与 Kafka 集群的连接") // 可以在这里执行其他 Kafka 相关操作 // 示例:获取 Kafka 集群的元数据信息 topics, err := client.Topics() if err != nil { log.Fatalf("获取 Kafka 集群元数据失败: %v", err) } fmt.Println("Kafka 集群中的主题:") for _, topic := range topics { fmt.Println(topic) } } ``` 在上面的代码中,我们使用 `sarama` 库创建了一个 Kafka 客户端(`Client`),并通过调用 `NewClient` 方法来建立与 Kafka 集群的连接。我们指定了 Kafka 集群的地址和端口(`brokerList`),以及一些配置参数(如 Kafka 版本、客户端 ID 等)。 成功建立连接后,我们可以执行其他 Kafka 相关操作。在示例中,我们演示了如何获取 Kafka 集群中的主题信息。 请注意,你需要先安装 `sarama` 库,你可以使用以下命令进行安装: ``` go get github.com/Shopify/sarama ``` 另外,代码中的 `brokerList` 变量需要根据你的实际情况进行修改,以匹配你的 Kafka 集群的配置。 希望这个示例能帮助你建立与 Kafka 的连接。如果有任何疑问,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值