kafka一些基本操作

原创 2016年05月31日 15:27:57

1.      查看某个topic各个分区的位置:

bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181


2.      创建某个topic:

bin/kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 2 --partitions 10 --topic opstest


3.      查看创建的topic列表

bin/kafka-topics.sh  --list --zookeeper ip:2181

4.      重新把某个topic打到某几台机器上面

使用Kafka自带的kafka-reassign-partitions.sh工具来重新分布分区。该工具有三种使用模式:

1、generate模式,给定需要重新分配的Topic,自动生成reassignplan(并不执行)

2、execute模式,根据指定的reassign plan重新分配Partition

3、verify模式,验证重新分配Partition是否成功

4.1 首先定义一个json文件,topics-to-move.json 里面说明哪些topic需要重新分区,文件内容如下:

{"topics": [{"topic": "opstest"}],

 "version":1

}

4.2    利用kafka自带的kafka-reassign-partitions.sh工具生成reassign plan

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --topics-to-move-json-file topics-to-move.json --broker-list "1,2" --generate


4.3   然后把下面Proposed partitionreassignment configuration 信息保存到一个文件中:new-topic-reassignment.json,然后执行操作:

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --reassignment-json-file new-topic-reassignment.json --execute

 

4.4   最后确认下执行结果

 

5.      Kafka生成消息:

bin/kafka-console-producer.sh --broker-list 10.77.112.246:9092 --topic opstest

6.      Kafka消费消息:

bin/kafka-console-consumer.sh --zookeeper ip:2181 --topic opstest --from-beginning

 

 



参考文章;http://www.iteblog.com/archives/1611

http://www.cnblogs.com/w1991/p/5161625.html

相关文章推荐

Kafka命令行常用命令说明

基于0.8.0版本。 ##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:218...

kafka常见操作(kafka_2.10-0.8.2.2)

启动服务 创建Topic 删除Topic 显示当前所有Topic 显示指定Topic详细信息 显示Topic中内容...

kafka基本操作命令总结以及Kafka界面化管理链接

./kafka-topics.sh --zookeeper 192.168.70.222:2181,192.168.70.223:2181,192.168.70.224:2181 --topic Te...

kafka常用运维命令

列出所有topic: bin/kafka-topics.sh --zookeeper localhost:2181 --list 说明:其实就是去检查zk上节点的/brokers/topi...

kafka学习七:kafka 运维

Kafka管理工具 Kafka集群管理工具 Kafka集群管理内容包括服务器启停、leader均衡、复制、集群镜像、集群扩展等。 添加服务器 向Kafka集群中添加服务器时,需要分配一个唯一的...
  • paul342
  • paul342
  • 2016年06月15日 14:46
  • 1359

Kafka简介、基本原理、执行流程与使用场景

一、简介Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,Linkedin于2010...

Kafka命令行常用命令说明

基于0.8.0版本。 ##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.19...

Protocol Buffers(protobuf)java初体验

由于项目需要所以简单的研究了下protobuf。我也是参照网上的博客,所以大部分内容我也就不重复造轮子了。首先protobuf介绍点击这里,使用介绍点击这里,使用demo看 这里 。我个人的第一个例子...

灰度发布_和 abtest (属于大数据架构部) 可衍生至 一键降级

流量选取适用于灰度发布,对选中的流量再次分组适用于AB测试及其他需要的场景。 处理方式:通常有物理隔离和逻辑隔离两种,物理隔离是将不同版本部署在不同集群,这样可以减少对代码的侵入,但是不够灵活,也难以...

kafka topic的基本操作

转载自 http://www.cnblogs.com/xiaodf/p/6093261.html http://www.cnblogs.com/moonandstar08/p/6204581....
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:kafka一些基本操作
举报原因:
原因补充:

(最多只允许输入30个字)