Storm与Kafka——kafka简单介绍

Storm与Kafka

Kafka是一种高吞吐的分布式发布订阅消息系统。
基于zookeeper协调。常用于网站日志收集，消息服务等
主要应用场景是:日志收集系统和消息系统。

消息系统介绍:
一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有两种主要的消息传递模式:点对点传递模式、发布-订阅模式。大部分的消息系统选用发布订阅模式。Kafka就是一种发布-订阅模式。

Kafka相关术语介绍

Broke: Kafka集群包含一个或多个服务器，这种服务器被称为broker
Topic: 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。(物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上，但用户只需要制定消息的Topic即可生产或消费数据而不必关心数据存于何处)
Partition: Partition是物理 上的概念，每个Topic包含一个或多 个Partition
Producer: 负责发布消息到Kafka broker
Consumer: 消息消费者，向Kafka broker读取消息的客户端。
Consumer Group: 每个Consumer属于一个特定的Consumer Group。 (可为每个Consumer指定group name,若不指定group name则属于默认的group)