kafka的简单shell命令管理

53人阅读 评论(0) 收藏 举报
分类:
启动kafka步骤
1、先启动zookeeper(kafka自带zookeeper的,可以启动自身的)当前目录为bin目录上一级
./bin/zookeeper-server-start.sh config/zookeeper.properties &
(启动后,基本上当前节点被日志占据了,后续操作另开窗口)

2、启动kafka服务   当前目录为bin目录上一级
./bin/kafka-server-start.sh config/server.properties &
(启动后,基本上当前节点被日志占据了,后续操作另开窗口)

3、创建一个1备份1partitions的topic名为steve 
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic steve


[root@VM_0_7_centos kafka2.10]# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic stevetao
Error while executing topic command Topic "stevetao" already exists.
kafka.common.TopicExistsException: Topic "stevetao" already exists.
	at kafka.admin.AdminUtils$.createOrUpdateTopicPartitionAssignmentPathInZK(AdminUtils.scala:187)
	at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:172)
	at kafka.admin.TopicCommand$.createTopic(TopicCommand.scala:93)
	at kafka.admin.TopicCommand$.main(TopicCommand.scala:55)
	at kafka.admin.TopicCommand.main(TopicCommand.scala)

[root@VM_0_7_centos kafka2.10]# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic steven
Created topic "steven".


查看所有topic列表

[root@hdp1 kafka-0.10.0]# ./bin/kafka-topics.sh --zookeeper 172.17.70.14:2181 --list


[root@VM_0_7_centos kafka2.10]# ./bin/kafka-topics.sh --zookeeper localhost:2181 --list
hive-mdatabase-hostsltable
steve
steven
stevetao


查看指定topic信息
[root@hdp1 kafka-0.10.0]# ./bin/kafka-topics.sh --zookeeper 172.17.70.14:2181 --topic IOT_DS_DATA(主题名) --describe


查看consumer group列表,使用--list参数
查看新版(信息保存在broker中)
 ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server  172.17.70.14:6667(kafkaIP地址) --list

老版(信息保存在zookeeper中)
./bin/kafka-consumer-groups.sh --zookeeper  127.0.0.1:2181(zookeeperIP地址) --list

./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server  172.17.70.14:6667(kafkaIP地址) --group MongoDS(组名) --describe


控制台向topic生产数据   (steve为topic名;)         Alt+C可以结束操作

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic steve

[root@VM_0_7_centos kafka2.10]# ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic steve
[2018-04-16 15:47:54,875] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
dsfdfd
zhangsan
lisi


控制台消费topic的数据(steve为topic名;)
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic steve --from-beginning


[root@VM_0_7_centos kafka2.10]# ./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic steve --from-beginning
zdfd
dfadfaf\
dfadf
stevev
stevetao
zz
zhngsan
dsfdfd
zhangsan
lisi		^C Consumed 10 messages


查看topic某分区偏移量最大(小)值(steve为topic名;分区从0开始;time为-1时表示最大值,time为-2时表示最小值)
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic steve --time -1 --broker-list localhost:9092 --partitions  0

[root@VM_0_7_centos kafka2.10]# ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic steve --time -1 --broker-list localhost:9092 --partitions 0
steve:0:7


增加topic分区数  10
bin/kafka-topics.sh --zookeeper localhost:2181  --alter --topic steve --partitions 10


删除topic,慎用,只会删除zookeeper中的元数据,消息文件须手动删除
bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic steve


查看topic消费进度
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
查看评论

kafka基本操作命令总结以及Kafka界面化管理链接

./kafka-topics.sh --zookeeper 192.168.70.222:2181,192.168.70.223:2181,192.168.70.224:2181 --topic Te...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2017年08月31日 20:37
  • 1016

kafka界面管理安装

转载:http://blog.csdn.net/wuzhilon88/article/details/46300447  感谢博主分享!! 概要 Kafka Web Console...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2017年10月12日 14:01
  • 1018

Kafka集群部署与shell命令行操作

在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。KAFKA + STORM +REDIS1、Apache Kafka是一个开源消息系统,由Scala写成。是由Ap...
  • qq_37334135
  • qq_37334135
  • 2017年11月21日 20:09
  • 213

Kafka的web 监控平台

1. 下载KafkaOffsetMonitor-assembly-0.2.0.jar  2. 创建/data/server/flink-web-monitor目录,将jar包放在该目录下,同时创建k...
  • shenxiaoming77
  • shenxiaoming77
  • 2017年04月13日 22:44
  • 769

Kafka的简单介绍

一、为什么需要消息系统 1.解耦:   允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2.冗余:   消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数...
  • u012470138
  • u012470138
  • 2017年06月28日 14:13
  • 408

kafka管理器kafka-manager部署安装

运行的环境要求 Kafka 0.8.1.1+ sbt 0.13.x Java 7+ 功能为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫...
  • lsshlsw
  • lsshlsw
  • 2015年08月05日 17:02
  • 24041

kafka管理工具

创建一个xlucas的topic 6个分区 3个副本[hadoop@master bin]$ ./kafka-topics.sh --create --zookeeper 192.168.1.101:...
  • paicMis
  • paicMis
  • 2016年10月16日 17:23
  • 939

kafka的监控工具--kafka web console安装

概要 Kafka Web Console是kafka的开源web监控程序. 功能介绍如下: brokers列表 连接kafka的zk集群列表 所有topic列表,操作相应topic可以浏览查看相应me...
  • wuzhilon88
  • wuzhilon88
  • 2015年06月01日 10:00
  • 11507

Kafka Shell基本命令,Kafka topic常见命令解析

Kafka topic常见命令解析本文着重介绍几个常用的topic命令行命令,包括listTopic,createTopic,deleteTopic和describeTopic等。由于alterTop...
  • qiaqia609
  • qiaqia609
  • 2018年02月24日 13:32
  • 100

Kafka的基本shell命令

Kafka内核总结1 Message一个kafka的Message由一个固定长度的header和一个变长的消息体body组成。header部分由一个字节的magic(文件格式)和四个字节的CRC32(...
  • u010521842
  • u010521842
  • 2017年10月02日 17:06
  • 332
    个人资料
    持之以恒
    等级:
    访问量: 2858
    积分: 510
    排名: 10万+
    文章存档