go与kafka(github.com/Shopify/sarama)

最新推荐文章于 2024-09-30 19:37:39 发布

我的自学笔记

最新推荐文章于 2024-09-30 19:37:39 发布

阅读量7.5k

点赞数

分类专栏： go

本文链接：https://blog.csdn.net/sinat_26682309/article/details/90300367

版权

本文介绍了如何使用Go语言的Sarama库与Kafka进行交互，包括启动Zookeeper和Kafka服务，以及创建Producer和Consumer进行消息生产和消费的操作流程。

摘要由CSDN通过智能技术生成

启动kafka

分别命令行启动zookeeper和kafka

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
.\bin\windows\kafka-server-start.bat .\config\server.properties

producer

import (
	"fmt"
	"github.com/Shopify/sarama"
)

func main() {
	config := sarama.NewConfig()
	config.Producer.RequiredAcks = sarama.WaitForAll  //赋值为-1：这意味着producer在follower副本确认接收到数据后才算一次发送完成。
	config.Producer.Partitioner = sarama.NewRandomPartitioner  //写到随机分区中，默认设置8个分区
	config.Producer.Return.Successes = true
	msg := &sarama.ProducerMessage{}
	msg.Topic = `nginx_log`
	msg.Value = sarama.StringEncoder("this is a good test")
	client,err := sarama.NewSyncProducer([]string{"127.0.0.1:9092"},config)
	if err != nil{
		fmt.Println("producer close err, ",err)
		return
	}
	defer client.Close()
	pid, offset, err :&#