初识kafka
kafka是由LinkedIn公司开发的一个多分区,多副本的基于zk协调的分布式消息系统,现在已经捐给apache基金会。目前kafka已经定位为一个分布式流式处理平台,她已高吞吐,可持久化,可水平扩展,支持流式数据处理等特性而被广泛运用。
高吞吐,可持久化等特性,应该有数据补充。
kafka概览
一个典型的kafka集群中包含若干的producer、若干Broker、若干Consumer,以及一个zk集群。
Kafka之所以受到越来越多的青睐,与它所扮演的三大角色是分不开的:
- 消息系统:系统解耦,冗余存储,流量削峰,缓冲,异步通信,扩展性和可恢复性等功能。Kafka还提供了大多数消息系统难以实现的消息顺序性保障和回溯消费的功能。
- 存储系统:Kafka把消息持久化到磁盘,有效降低了数据丢失的风险。
- 流式处理平台:kafka提供了一个完整的流式处理类库,比如窗口、链接、变换和聚合等各类操作。
导入
如果你想加载一篇你写过的.md文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,
继续你的创作。