本文介绍了Kafka作为实时数据处理系统的核心特性，包括其作为消息中间件的角色，通过Partition实现分布存储以提高性能，以及通过Broker集群保证高可用性。文章探讨了Kafka的进化过程，从消息队列到Partition再到Broker集群，同时也提出了Kafka在消息结构、数据可靠性、消费者行为等方面更深层次的话题。
Kafka是啥？用Kafka官方的话来说就是：
Kafka is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies.
大致的意思就是，这是一个实时数据处理系统，可以横向扩展、高可靠，而且还变态快，已经被很多公司使用。
那么什么是实时数据处理系统呢？顾名思义，实时数据处理系统就是数据一旦产生，就要能快速进行处理的系统。
对于实时数据处理，我们最常见的，就是消息中间件了，也叫MQ（Message Queue，消息队列），也有叫Message Broker的。
这篇文章，我将从消息中间件的角度，带大家看看Kafka的内部结构，看看它是如何做到横向扩展、高可靠的同时，还能变态快的。
1、为什么需要消息中间件
消息中间件的作用主要有两点：
-
解耦消息的生产和消费。
-
缓冲。
想象一个场景
订阅专栏 解锁全文
扫一扫
2206
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
