【Golang】Golang+Kafka的牛刀小试

项目简介

producer.go是一个基于kafka-go库的示例生产者程序，可以向Kafka集群发送消息，并且支持异步发送。它从标准输入读取消息，并将其作为Kafka消息发送到指定主题的分区。

consumer.go是一个基于kafka-go库的示例消费者程序，可以从Kafka集群中消费消息，并打印在终端上。它支持异步消费和处理来自多个分区的消息。此外，它还支持设置消费组ID和从最新或最早的消息偏移量开始消费。

关于Kafka

Kafka是一个高吞吐量的分布式消息队列，它能够处理来自多个生产者的大量消息，并将这些消息传递给多个消费者。它的主要作用是用于消息传递和日志处理。在数据处理、数据分析、数据挖掘等领域，Kafka已经成为一个很受欢迎的消息队列和数据流平台，因为它能够支持海量数据的高效处理，具有高吞吐量、低延迟、可扩展性和可靠性等优点。

项目代码

• consumer.go

package main

import (
	"context"
	"fmt"
	"log"
	"os"
	"os/signal"

	"github.com/segmentio/kafka-go"
)

func main() {
	// 设置 Kafka 连接参数
	topic := "test-topic"
	broker1 := "localhost:9092"
	broker2 := "localhost:9093"
	partition := 0

	// 建立 Kafka 消费者连接
	consumerConn, err := kafka.DialLeader(context.Background(), "tcp", broker1, topic, partition)
	if err != nil {
		log.Fatal("failed to dial leader:", err)
	}
	defer consumerConn.Close()

	// 开始消费消息
	consumer := kafka.NewReader(kafka.ReaderConfig{
		Brokers:   []string{broker1, broker2},
		Topic:     topic,
		Partition: partition,
		MinBytes:  10e3, // 最小字节数
		MaxBytes:  10e6, // 最大字节数
	})
	defer consumer.Close()

	signals := make(chan os.Signal, 1)
	signal.Notify(signals, os.Interrupt)

	for {
		select {
		case <-signals:
			fmt.Println("interrupt signal received")
			return
		default:
			msg, err := consumer.FetchMessage(context.Background())
			if err != nil {
				log.Fatal("failed to fetch message:", err)
			}
			fmt.Printf("message at offset %d: %s = %s\n", msg.Offset, string(msg.Key), string(msg.Value))
		}
	}
}

• producer.go

package main

import (
	"bufio"
	"context"
	"fmt"
	"log"
	"os"
	"strings"
	"time"

	"github.com/segmentio/kafka-go"
)

func main() {
	// 设置 Kafka 连接参数
	topic := "test-topic"
	brokers := []string{"localhost:9092", "localhost:9093"}

	// 建立 Kafka 生产者连接
	writer := &kafka.Writer{
		Addr:         kafka.TCP(brokers...),
		Topic:        topic,
		Balancer:     &kafka.LeastBytes{},
		Async:        true,
		WriteTimeout: 10 * time.Second,
	}
	defer writer.Close()

	// 从标准输入读取消息，发送到 Kafka
	scanner := bufio.NewScanner(os.Stdin)
	for {
		fmt.Print("Enter message: ")
		scanner.Scan()
		message := scanner.Text()
		if strings.ToLower(message) == "exit" {
			break
		}
		err := writer.WriteMessages(context.Background(), kafka.Message{
			Key:   []byte("key"),
			Value: []byte(message),
		})
		if err != nil {
			log.Fatal("failed to write message:", err)
		}
	}
}

项目运行效果

• 生产者
  
• 消费者