1. Kafka是一个高性能的分布式消息队列系统
2. Kafka主要是解决大规模数据处理中的消息传递问题。
3. Kafka分为三部分,消息生产者,消息中心,消息消费者。
生产者将消费发布到 消息中心,消息中心把消息以 话题(topic) 的方式划分到多个分区里(实现分布式),消费者对话题进行订阅。
4. 消息中心是以消息的key 为基础,求hash值,负载均衡选择分区。同时确保同一key的消息被发送到同一分区中,保证消息的有序性。
5. 消息消费者从消息中心,根据自己的订阅topic,并获取分配到的分区,然后从分区中拉取消息进行消费。
6. 总之,Kafka的工作原理是将消息存储在分区中,同时支持多个消费者组订阅同一个topic,以实现高吞吐量的消息传递。