core net 消费kafka_netcore kafka操作

安装使用：

1：下载nuget包

Confluent.Kafka

librdkafka.redist

System.Runtime.CompilerServices.Unsafe

基于.net实现kafka的消息队列应用，常用的类库有kafka-net，Confluent.Kafka，官网推荐使用Confluent.Kafka

参考：

https://blog.csdn.net/qq_34894585/article/details/83651827

kafka：

Broker

Kafka集群包含一个或多个服务器，这种服务器被称为broker

Topic

主题：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。(物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)

Partition

分区：Partition是物理上的概念，每个Topic包含一个或多个Partition.(一般为kafka节点数cpu的总核数)

Producer

生产者，负责发布消息到Kafka broker

Consumer

消费者：从Kafka broker读取消息的客户端。

Consumer Group

消费者组：每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name，若不指定group name则属于默认的group)。

可扩展性

在不需要下线的情况下进行扩容

数据流分区(partition)存储在多个机器上

高性能

单个broker就能服务上千客户端

单个broker每秒种读/写可达每秒几百兆字节

多个brokers组成的集群将达到非常强的吞吐能力

性能稳定，无论数据多大

Kafka在底层摒弃了Java堆缓存机制，采用了操作系统级别的页缓存，同时将随机写操作改为顺序写，再结合Zero-Copy的特性极大地改善了IO性能。

kafka可视化工具

http://www.kafkatool.com/download.html