本文介绍了Apache Kafka，一个用于流处理的开源系统，由LinkedIn开发并维护。Kafka作为一个分布式消息队列，支持点对点和发布/订阅两种模式，常用于解耦、冗余、扩展性和灵活处理数据。Kafka架构包括Producer、Consumer、Topic、Consumer Group、Broker、Partition和Offset，其特点是保证Partition内的消息顺序，并提供缓冲和异步通信的能力。
1.1 Kafka是什么
在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。
1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
2）Kafka最初是由LinkedIn公司开发，并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
3）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。
4）无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性。
最低0.47元/天 解锁文章
2189
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
