Kafka是一个高吞吐量的分布式消息系统，其设计目标包括磁盘存取的高效性、高吞吐率和分布式架构。Kafka采用push/pull模型，消息按topic组织并分为多个partition，支持数据并行加载到Hadoop。Kafka中有producer、broker和consumer三种角色，其中producer通过zookeeper进行负载均衡，consumer分为低级和高级接口，broker利用sendfile和zero copy等技术提高效率。
Kafka是2010年12月份开源的项目，采用scala语言编写，使用了多种效率优化机制，整体架构比较新颖（push/pull），更适合异构集群。
设计目标：
(1) 数据在磁盘上的存取代价为O(1)
(2) 高吞吐率，在普通的服务器上每秒也能处理几十万条消息
(3) 分布式架构，能够对消息分区
(4) 支持将数据并行的加载到hadoop
架构：
Kafka实际上是一个消息发布订阅系统。producer向某个topic发布消息，而consumer订阅某个topic的消息，进而一旦有新的关于某个topic的消息，broker会传递给订阅它的所有consumer。 在kafka中，消息是按topic组织的，而每个topic又会分为多个partition，这样便于管理数据和进行负载均衡。同时，它也使用了zookeeper进行负载均衡。
Kafka中主要有三种角色，分别为producer，broker和consumer。
(1) Producer
Producer的任务是向broker发送数据。
Kafka提供了两种producer接口，一种是low_level接口，使用该接口会向特定的broker的某个topic下的某个partition发送数据；
最低0.47元/天 解锁文章
扫一扫
389
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
