【.NET】Kafka消息队列介绍，使用Confluent.Kafka集成Kafka消息队列

原创

已于 2025-01-05 21:42:46 修改 · 1.8k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #消息队列

于 2025-01-05 21:10:37 首次发布

一、Kafka介绍

kafka是一种高吞吐量、分布式、可扩展的消息中间件系统，最初由LinkedIn公司开发。随着不断的发展，在最新的版本中它定义为分布式的流处理平台，现在在大数据应用中也是十分广泛。

它可以处理大量的实时数据流，被广泛应用于日志收集、事件处理、流处理、消息队列等场景。

Kafka的架构包含producer（生产者）、consumer（消费者）、broker（代理服务器）等组件。生产者可以将消息发送到Kafka集群，消费者可以从Kafka集群订阅消息并进行处理，而broker则是消息的中转服务器，负责存储和转发消息。

Kafka的特点包括：

高吞吐量：Kafka可以处理海量的数据流，支持每秒百万级别的消息处理。
可扩展性：Kafka的集群可以根据需要进行水平扩展，从而提高系统的性能和容量。
可靠性：Kafka支持多副本机制，可以保证数据的可靠性和高可用性。
灵活性：Kafka支持多种消息格式和协议，可以与各种系统和工具进行集成。
Kafka是一个开源的项目，已经成为了Apache软件基金会的顶级项目.

Kafka & 核心概念

接着，我们看下它的核心概念,这些概念都很重要，在后边的学习中都会遇到，概念一定要搞明白，对于理解Kafka的工作原理和使用方法非常重要。不然学习起来比较懵, 下面一起看一下核心概念:

Topic
Topic是消息的逻辑容器，用于对消息进行分类和存储。在Kafka中，消息会被发布到指定的topic中，并且可以被一个或多个消费者订阅。Topic是Kafka的核心概念之一，是实现消息传递的基础。

Producer
Producer是消息的生产者，用于向指定的topic中发送消息。Producer负责将消息发送到Kafka集群中的broker节点，并且可以在发送消息时指定消息的key，以便Kafka将消息分配到指定的partition中。

Consumer
Consumer是消息的消费者，用于从指定的topic中接收消息。Consumer负责从Kafka集群中的broker节点获取消息，并且可以指定从哪个partition中获取消息。消费者可以以不同的方式进行消息消费，例如批量消费、轮询消费等。

Broker
Broker是Kafka集群中的一个节点，用于存储和管理消息。Broker是Kafka的核心组件之一，负责接收和处理生产者发送的消息，并将其存储到磁盘中，同时还负责将消息转发给消费者。

Partition
Partition是Kafka中实现数据分片的机制，一个topic可以被分成多个partition，每个partition都是一个有序的消息队列。消息在被发送到一个topic时，会被根据指定的key进行hash计算，然后被分配到对应的partition中。

Offset
Offset是Kafka中的一个重要概念，用于标识每个消息在一个partition中的位置。每个partition都有一个唯一的offset值，消费者可以根据offset来获取指定位置的消息。Kafka还提供了一种特殊的topic，称为__consumer_offsets，用于存储消费者消费的位置信息。

参考：https://zhuanlan.zhihu.com/p/612327585

二、C#引用Confluent.Kafka.dll实现kafka消息队列的实际开发例子

在这里插入图片描述

1、配置文件

  "KafkaConfig": {
   
   
    "BootstrapServers": "", 
    "SaslUsername": "",
    "SaslPassword": ""
  },

2、配置类： BusinessOptionsSetting.cs

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace IntegratedPlatform.Domain.Dtos.OptionSetting
{
   
   
    /// <summary>
    /// 业务配置
    /// </summary>
    public class BusinessOptionsSetting
    {
   
   
        /// <summary>
        /// kafka 配置
        /// </summary>
        public KafkaConfig KafkaConfig {
   
    get; set; }
    }

    /// <summary>
    /// kafka 配置
    /// </summary>
    public class KafkaConfig 
    {
   
    
        /// <summary>
        /// 服务端配置
        /// </summary>
        public string BootstrapServers {
   
    get; set; }

        /// <summary>
        /// Sasl用户名
        /// </summary>
        public string SaslUsername {
   
    get; set; }

        /// <summary>
        /// Sasl密码
        /// </summary>
        public string SaslPassword {
   
    get; set; }
    }
}

3、kafka服务类： KafkaServices.cs

using Confluent.Kafka;
using IntegratedPlatform.Domain.Dtos.OptionSetting;
using Microsoft.Extensions.O

最低0.47元/天解锁文章