kafka 集群 测试

参考资料：http://orchome.com/kafka/index

下载

wget https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/kafka_2.11-0.10.0.1.tgz

解压

tar -xvzf kafka_2.11-0.10.0.1.tgz

移动

mv kafka_2.11-0.10.0.1  /usr/local

修改配置

cd kafka_2.11-0.10.0.1/config

mv server.properties server-1.properties

cp server-1.properties server-2.properties

cp server-1.properties server-3.properties

修改server-1.properties

broker.id=1

listeners=PLAINTEXT://10.1.78.23:9091

log.dirs=/tmp/kafka-logs1

zookeeper.connect=10.1.78.23:2181  #zookeeper 已安装

修改server-2.properties

broker.id=2

listeners=PLAINTEXT://10.1.78.23:9092

log.dirs=/tmp/kafka-logs2

zookeeper.connect=10.1.78.23:2181  #zookeeper 已安装

修改server-3.properties

broker.id=3

listeners=PLAINTEXT://10.1.78.23:9093

log.dirs=/tmp/kafka-logs3

zookeeper.connect=10.1.78.23:2181  #zookeeper 已安装

启动

./kafka-server-start.sh -daemon ../config/server-1.properties 

./kafka-server-start.sh -daemon ../config/server-2.properties 

./kafka-server-start.sh -daemon ../config/server-3.properties 

创建topic

./kafka-topics.sh --create --zookeeper 10.1.78.23:2181 --replication-factor 3 --partitions 1 --topic replication-test

查看

 ./kafka-topics.sh --describe --zookeeper localhost:2181

Topic:replication-test  PartitionCount:1        ReplicationFactor:3     Configs:
        Topic: replication-test Partition: 0    Leader: 3       Replicas: 3,1,2 Isr: 3,1,2
Topic:test      PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: test     Partition: 0    Leader: 1       Replicas: 1     Isr: 1

"leader"：该节点负责所有指定分区的读和写，每个节点的领导都是随机选择的。
"replicas":备份的节点，无论该节点是否是leader或者目前是否还活着，只是显示。
"isr"：备份节点的集合，也就是活着的节点集合。

启动自带  provider

./kafka-console-producer.sh --broker-list 10.1.78.23:9091 --topic replication-test

this is  my first  message！

启动自带  consumer

./kafka-console-consumer.sh --zookeeper 10.1.78.23:2181 --from-beginning --topic replication-test

this is  my first  message！

集群测试

kill 掉其中一台 broker

kill -9 25147

现在可以看到，3台集群，只有两台可用，因为刚才kill掉一台

[root@uf201102372 bin]# ./kafka-topics.sh --describe --zookeeper localhost:2181
Topic:replication-test  PartitionCount:1        ReplicationFactor:3     Configs:
        Topic: replication-test Partition: 0    Leader: 3       Replicas: 3,1,2 Isr: 3,1
Topic:test      PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: test     Partition: 0    Leader: 1       Replicas: 1     Isr: 1

重启一个conumser，可以看到原来message还存在，没有丢失

[root@uf201102372 bin]# ./kafka-console-consumer.sh --zookeeper 10.1.78.23:2181 --topic replication-test --from-beginning

this is my first message!

将在下一篇测试  java 版本的   kafka  api。