kafka一些基本操作

原创 2016年05月31日 15:27:57

1.      查看某个topic各个分区的位置:

bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181


2.      创建某个topic:

bin/kafka-topics.sh --create --zookeeper ip:2181 --replication-factor 2 --partitions 10 --topic opstest


3.      查看创建的topic列表

bin/kafka-topics.sh  --list --zookeeper ip:2181

4.      重新把某个topic打到某几台机器上面

使用Kafka自带的kafka-reassign-partitions.sh工具来重新分布分区。该工具有三种使用模式:

1、generate模式,给定需要重新分配的Topic,自动生成reassignplan(并不执行)

2、execute模式,根据指定的reassign plan重新分配Partition

3、verify模式,验证重新分配Partition是否成功

4.1 首先定义一个json文件,topics-to-move.json 里面说明哪些topic需要重新分区,文件内容如下:

{"topics": [{"topic": "opstest"}],

 "version":1

}

4.2    利用kafka自带的kafka-reassign-partitions.sh工具生成reassign plan

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --topics-to-move-json-file topics-to-move.json --broker-list "1,2" --generate


4.3   然后把下面Proposed partitionreassignment configuration 信息保存到一个文件中:new-topic-reassignment.json,然后执行操作:

bin/kafka-reassign-partitions.sh --zookeeper ip:2181 --reassignment-json-file new-topic-reassignment.json --execute

 

4.4   最后确认下执行结果

 

5.      Kafka生成消息:

bin/kafka-console-producer.sh --broker-list 10.77.112.246:9092 --topic opstest

6.      Kafka消费消息:

bin/kafka-console-consumer.sh --zookeeper ip:2181 --topic opstest --from-beginning

 

 



参考文章;http://www.iteblog.com/archives/1611

http://www.cnblogs.com/w1991/p/5161625.html

Kafka入门经典教程

问题导读 1.Kafka独特设计在什么地方? 2.Kafka如何搭建及创建topic、发送消息、消费消息? 3.如何书写Kafka程序? 4.数据传输的事务定义有哪三种? 5.Kafka...
  • HMSIWTV
  • HMSIWTV
  • 2015年07月19日 23:36
  • 85512

Kafka简介、基本原理、执行流程与使用场景

一、简介Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,Linkedin于2010...
  • u010870518
  • u010870518
  • 2017年08月16日 20:22
  • 11308

kafka第四篇--快速入门(如何使用kafka)

Quick Start Step 1: Download the code Download the 0.8 release. > tar xzf kafka-.tgz > cd kafka- >...
  • crazyhacking
  • crazyhacking
  • 2013年07月30日 14:43
  • 15608

[Kafka]为什么使用kafka?

在介绍为什么使用kafka之前,我们有必要来了解一下什么是kafka? 1. 什么是kafka? Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩...
  • SJF0115
  • SJF0115
  • 2017年11月08日 16:41
  • 806

Kafka使用进阶——消费者

Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client http:...
  • SCTU_vroy
  • SCTU_vroy
  • 2017年01月21日 22:25
  • 7387

Kafka学习笔记——Kafka原理与使用详解

Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家公司作为多种类型...
  • fuyuwei2015
  • fuyuwei2015
  • 2017年06月08日 23:29
  • 3539

kafka常见操作(kafka_2.10-0.8.2.2)

启动服务 创建Topic 删除Topic 显示当前所有Topic 显示指定Topic详细信息 显示Topic中内容...
  • xianzhen376
  • xianzhen376
  • 2016年01月25日 14:48
  • 2899

Kafka命令行常用命令说明

基于0.8.0版本。 ##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:218...
  • chrischen214
  • chrischen214
  • 2014年01月17日 14:46
  • 21283

kafka命令操作

官网上是没有提供直接windows版本的topic处理程序的,执行命令之前加kafka-run-class.bat kafka.admin.TopicCommand %* 或者自己新建一个ba...
  • yuebao1991
  • yuebao1991
  • 2017年05月26日 19:59
  • 256

Kafka的Topic操作

Kafka shell topic操作     创建Topic           hadoop         kafka]# bin/kafka-topics.sh --create -...
  • tangshiweibbs
  • tangshiweibbs
  • 2017年04月19日 19:57
  • 1214
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:kafka一些基本操作
举报原因:
原因补充:

(最多只允许输入30个字)