关闭

kafka一些基本操作

591人阅读 评论(0) 收藏 举报
分类:

1.      查看某个topic各个分区的位置:

bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181


2.      创建某个topic:

bin/kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 2 --partitions 10 --topic opstest


3.      查看创建的topic列表

bin/kafka-topics.sh  --list --zookeeper ip:2181

4.      重新把某个topic打到某几台机器上面

使用Kafka自带的kafka-reassign-partitions.sh工具来重新分布分区。该工具有三种使用模式:

1、generate模式,给定需要重新分配的Topic,自动生成reassignplan(并不执行)

2、execute模式,根据指定的reassign plan重新分配Partition

3、verify模式,验证重新分配Partition是否成功

4.1 首先定义一个json文件,topics-to-move.json 里面说明哪些topic需要重新分区,文件内容如下:

{"topics": [{"topic": "opstest"}],

 "version":1

}

4.2    利用kafka自带的kafka-reassign-partitions.sh工具生成reassign plan

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --topics-to-move-json-file topics-to-move.json --broker-list "1,2" --generate


4.3   然后把下面Proposed partitionreassignment configuration 信息保存到一个文件中:new-topic-reassignment.json,然后执行操作:

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --reassignment-json-file new-topic-reassignment.json --execute

 

4.4   最后确认下执行结果

 

5.      Kafka生成消息:

bin/kafka-console-producer.sh --broker-list 10.77.112.246:9092 --topic opstest

6.      Kafka消费消息:

bin/kafka-console-consumer.sh --zookeeper ip:2181 --topic opstest --from-beginning

 

 



参考文章;http://www.iteblog.com/archives/1611

http://www.cnblogs.com/w1991/p/5161625.html

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:28811次
    • 积分:471
    • 等级:
    • 排名:千里之外
    • 原创:16篇
    • 转载:17篇
    • 译文:0篇
    • 评论:3条
    文章分类