Kafka 起步

到Apache Kafka官方网上下载 kafka-0.7.0-incubating-src.tar.gz

解压  kafka-0.7.0-incubating-src.tar.gz

得到kafka-0.7.0-incubating-src.tar.gz

下面运行自带的控制台例子

首先修改config下面的producer.properties文件

broker.list = 0:10.15.62.184(本实验是单机版的，所以用 本机ip10.15.62.184)

保存并退出

修改server.properties文件

将hostname改成本机ip 10.15.62.184

保存并退出

进入bin目录

首先运行./zookeeper ../config/zookeeper.properties

另开一个终端,进入bin目录

运行kafka服务  ./kafka-server-start ../config/server.properties

再开一个终端，进入bin目录 

运行kafka的producer ./kafka-console-producer ../config/producer.properties

再开一个终端，进入bin目录 

运行kafka的consumer ./kafka-console-consumer ../config/consumer.properties

在producer终端中输入任何字符，在consumer中即可以看到接收到的字符

 

Kafka在zookeeper上保存的信息如下：

 

Broker Node Registry——某个broker的主机名和端口

/brokers/ids/[0...N]->host:port(ephemeral node)

Broker topic Registry——某个broker拥有某个topic的n个partition

/brokers/topics/[topic]/[0...N]->nPartitions

Consumer Id Registry——某个consumer从属于某个group，同时记录了这个consumer消费的topic流

/consumers/[group-id]/ids/[consumer_id]->{"topic1":#streams,...,"topicN":#streams}

Partition Owner Registry——某个topic下broker上的partition被某个group中的consumer所消费

/consumers/[group_id]/owners/[topic]/[broker_id-partition_id]->consumer_node_id

Consumer Offset Tracking——某个topic下 broker上的partition 被某个group所消费的offset

/consumers/[group_id]/offsets/[topic]/[broker_id-partition_id] ->offset-counter val