c#连接kafka_C# 使用kafka 消费者-生产者订阅

一：kafka介绍

kafka(官网地址：http://kafka.apache.org)是一种高吞吐量的分布式发布订阅的消息队列系统，具有高性能和高吞吐率。

1.1 术语介绍

Broker

Kafka集群包含一个或多个服务器，这种服务器被称为broker

Topic

主题：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。(物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)

Partition

分区：Partition是物理上的概念，每个Topic包含一个或多个Partition.(一般为kafka节点数cpu的总核数)

Producer

生产者，负责发布消息到Kafka broker

Consumer

消费者：从Kafka broker读取消息的客户端。

Consumer Group

消费者组：每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name，若不指定group name则属于默认的group)。

1.2 基本特性

可扩展性

在不需要下线的情况下进行扩容

数据流分区(partition)存储在多个机器上

高性能

单个broker就能服务上千客户端

单个broker每秒种读/写可达每秒几百兆字节

多个brokers组成的集群将达到非常强的吞吐能力

性能稳定，无论数据多大

Kafka在底层摒弃了Java堆缓存机制，采用了操作系统级别的页缓存，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO性能。

1.3 消息格式

一个topic对应一种消息格式，因此消息用topic分类

一个topic代表的消息有1个或者多个patition(s)组成

一个partition应该存放在一到多个server上，如果只有一个server，就没有冗余备份，是单机而不是集群；如果有多个server，一个server为leader(领导者)，其他servers为followers(跟随者)，leader需要接受读写请求，followers仅作冗余备份，leader出现故障，会自动选举一个follower作为leader，保证服务不中断；每个server都可能扮演一些part