kafka入门及配置详解

一：安装zookeeper 略

二：安装kafka  略

kafka架构图及术语说明

术语

• Broker
  Kafka集群包含一个或多个服务器，这种服务器被称为broker，可以水平扩展，一般broker数量越多，集群吞吐率越高，而且kafka 每个节点可以有多个 broker
• Producer
  负责发布消息到Kafka broker，可以是web前端产生的page view，或者是服务器日志，系统CPU、memory等
• Consumer
  消费消息。每个consumer属于一个特定的consumer group（可为每个consumer指定group name，若不指定group name则属于默认的group）。使用consumer high level API时，同一topic的一条消息只能被同一个consumer group内的一个consumer消费，但多个consumer group可同时消费这一消息。
• Zookeeper
  通过Zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance
• Topic
  每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个