kafka一些基本操作

1.      查看某个topic各个分区的位置：

bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181

2.      创建某个topic：

bin/kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 2 --partitions 10 --topic opstest

3.      查看创建的topic列表

bin/kafka-topics.sh  --list --zookeeper ip:2181

4.      重新把某个topic打到某几台机器上面

使用Kafka自带的kafka-reassign-partitions.sh工具来重新分布分区。该工具有三种使用模式：

1、generate模式，给定需要重新分配的Topic，自动生成reassignplan（并不执行）

2、execute模式，根据指定的reassign plan重新分配Partition

3、verify模式，验证重新分配Partition是否成功

4.1 首先定义一个json文件，topics-to-move.json 里面说明哪些topic需要重新分区，文件内容如下：

{"topics": [{"topic": "opstest"}],  "version":1 }

4.2    利用kafka自带的kafka-reassign-partitions.sh工具生成reassign plan

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --topics-to-move-json-file topics-to-move.json --broker-list "1,2" --generate

4.3   然后把下面Proposed partitionreassignment configuration 信息保存到一个文件中：new-topic-reassignment.json，然后执行操作：

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --reassignment-json-file new-topic-reassignment.json --execute

 

4.4   最后确认下执行结果

 

5.      Kafka生成消息：

bin/kafka-console-producer.sh --broker-list 10.77.112.246:9092 --topic opstest

6.      Kafka消费消息：

bin/kafka-console-consumer.sh --zookeeper ip:2181 --topic opstest --from-beginning

 

 

参考文章；http://www.iteblog.com/archives/1611

http://www.cnblogs.com/w1991/p/5161625.html