一、 简单介绍 kafka是分布式的,基于发布/订阅的消息系统。
需要JAVA Spring Cloud大型企业分布式微服务云构建的B2B2C电子商务平台源码 一零三八七七四六二六
1、即使对TB级以上数据也能保证常数时间复杂度的访问性能。
2、 高吞吐率:即使在非常廉价的商用机器上也能做到单机支持每秒100k条以上消息的传输。
3、 支持分区,消息分布式消费,但是只能保证每个partition内的消息顺序传输。并且支持在线水平扩展。
为何使用消息中间件呢,大家肯定接触过rabbitmq、activemq、redis等,估计有很多感触。我就不详细描述了,这个只能亲身参加过大的技术架构,自己身在其中,并且感受到不用消息中间件和用的区别。
二、 架构 了解架构之前,我们先了解一下基本名词。
Broker:安装了kafka的服务器就是一个broker。
Topic:消息的类比,最好一类数据定一个topic去存储传输。
Partition:分区,topic可以定分到几个分区中。
Producer:发送消息,发送者。
Consumer:消费消息,消费者。
Consumer Group:每个Consumer属于一个特定的Consumer Group。
Producer发送消息到broker时,根据partition机制选择分不到哪一个partition,设置合理的情况下,所有消息可以均匀分不到不同的partition里,实现了负载均衡。