ubuntu 安装 kafka

下载

点击
自己可以自选版本

下载好了，解压即可

启动服务

Kafka使用Zookeeper，我已经安装启动起来了
没有安装的点击
目录切换到bin目录，已经习惯这一层了

./kafka-server-start.sh ../config/server.properties

启动不报错即成功

创建topic

为了测试方便，此时我新开一个窗口，切换到kafka这一级目录

创建队列

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建好之后，可以通过运行以下命令，查看已创建的topic信息：

 bin/kafka-topics.sh --list --zookeeper localhost:2181

发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

为了看直观的效果，我们在起一个窗口，还是切换到这一级目录
作为消费者

订阅消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

效果如下图

管理工具

下载 KafkaOffsetMonitor-assembly-0.2.0 包

执行以下命令

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 127.0.0.1:2181 --port 8086 --refresh 10.seconds --retain 2.days

关键字

1.producer：
消息生产者，发布消息到 kafka 集群的终端或服务。
2.broker：
kafka 集群中包含的服务器。
3.topic：
每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。
4.partition：
partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。
5.consumer：
从 kafka 集群中消费消息的终端或服务。
6.Consumer group：
high-level consumer API 中，每个 consumer 都属于一个 consumer group，每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。
7.replica：
partition 的副本，保障 partition 的高可用。
8.leader：
replica 中的一个角色， producer 和 consumer 只跟 leader 交互。
9.follower：
replica 中的一个角色，从 leader 中复制数据。
10.controller：
kafka 集群中的其中一个服务器，用来进行 leader election 以及 各种 failover。
12.zookeeper：
kafka 通过 zookeeper 来存储集群的 meta 信息。

zookeeper起的作用

此处也不知道原文在哪里了

Kafka将元数据信息保存在Zookeeper中，但是发送给Topic本
身的数据是不会发到Zk上的，kafka使用
zookeeper来实现动态的集群扩展，不需要更改客户端
（producer和consumer）的配置。broker会在zookeeper注册
并保持相关的元数据（topic，partition信息等）更新。而客户端会
在zookeeper上注册相关的watcher。一旦zookeeper发生变化，
客户端能及时感知并作出相应调整。这样就保证了添加或去除broker时，
各broker间仍能自动实现负载均衡。这里的客户端指的是Kafka的消息生产端(Producer)和
消息消费端(Consumer)Producer端使用zookeeper用来"发现"broker列表,以及和Topic下
每个partition的leader建立socket连接并发送消息。也就是说每个Topic的partition
是由Lead角色的Broker端使用zookeeper来注册broker信息,以及监测partition leader存活性
.Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partition列表等,
同时也用来发现broker列表,并和partition leader建立socket连接,并获取消息.

参考 http://orchome.com/6