kafka最常用命令清单

kafka版本:V0.2.10.1
zookeeper版本:V3.4.11
confluent版本:V3.3.0

一、confluent相关启动

1、启动confluent:

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties

-daemon的目的是为了后台运行,且能保证日志输出。
输出日志的路径为confluent的logs路径。

2、生产者——生成AVRO格式数据

./bin/kafka-avro-console-producer --broker-list 192.168.1.11:9092 --topic mytopic --property 
value.schema='{"type":"record","name":"myrecord","fields":[{"name":"f1","type":"string"}]}'

3、消费者——AVRO格式数据消费

./kafka-avro-console-consumer --topic mytopic  --bootstrap-server  192.168.1.11:9092
./kafka-avro-console-consumer --new-consume  --topic mytopic   --bootstrap-server  192.168.1.11:9092

4、启动scheme,监听8081端口

./schema-registry-start  -daemon ./etc/schema-registry/schema-registry.properties 

5、启动connector连接,监听8083端口

./bin/connect-distributed  -daemon ./etc/schema-registry/connect-avro-distributed.properties

6、利用restful API 接口创建connector

可借助postman工具。

curl -XGET 192.168.1.11:8083/connectors
curl -XDELETE 192.168.1.11:8083/connectors/某条连接

二、zookeeper相关

1、启动zookeeper

./zkServer.sh start

启动后,监听端口:2181

2、停止zookeeper

./zkServer.sh stop

三、kafka相关

1、启动kafka:

./kafka-server-start.sh -daemon ../config/server.properties 

启动后,默认监听端口 9092

2、创建专题topic

在kafka的路径下,

./kafka-topics.sh --create --zookeeper 192.168.1.11:2181 --replication-factor 1 --partitions 5--topic mytopic

3、查看专题topic

 ./kafka-topics.sh --describe --zookeeper 192.168.1.11:2181 --topic mytopic

4、修改partition

./kafka-topics.sh --zookeeper  192.168.1.11:2181 --alter --topicmytopic  --partition 10

修改分片大小为10

5、启动生产者——生产数据(发送)

kafka的路径下,

bin/kafka-console-producer.sh --broker-list 192.168.1.11:9092 --topic  mytopi
This is a message
This is another message

6、启动消费者

kafka的路径下,

 ./kafka-console-consumer.sh --bootstrap-server 192.168.1.11:9092 --topic mytopic --from-beginning

–from-beginning:从头开始读;
去掉–from-beginning:从最新处开始读。

7、删除topic

步骤1:删除topic

./kafka-topics.sh –zookeeper 192.168.1.11:2181 –delete –topic mytopic

步骤2:client删除操作

    1)打开zookeeper client 
     执行:./bin/zkCli.sh  -server 192.168.1.11:2181
    2)在Zookeeper客户端下执行命令
        ls /brokers/topics
    3)在Zookeeper客户端下执行命令
        rmr /brokers/topics/mytopic
        其中,mytopic为要删除的topic。
    4)验证是否删除:
        ls /config/topics 
        ls /brokers/topics      
        ls /admin/delete_topics 

      Admin/delete_topic/下为待删除topic,
      如果在kafka中topic被删除,会有删除被标记,就是标记在这里。

   5)查看topic还在不在
  ./kafka-topics.sh --list --zookeeper  192.168.1.11:2181  | grep mytopic

以上,仅作为备忘。

——————————————————————————————————
更多ES相关实战干货经验分享,请扫描下方【铭毅天下】微信公众号二维码关注。
(每周至少更新一篇!)

这里写图片描述
和你一起,死磕Elasticsearch
——————————————————————————————————

2018.1.10 22:04 于家中床前

作者:铭毅天下
转载请标明出处,原文地址:
http://blog.csdn.net/laoyang360/article/details/79028851
如果感觉本文对您有帮助,请点击‘顶’支持一下,您的支持是我坚持写作最大的动力,谢谢!

阅读更多

扫码向博主提问

铭毅天下

博客专家

和你一起,死磕ELK Stack!
  • 擅长领域:
  • ES
  • ELK
  • bigdata
去开通我的Chat快问
版权声明:本文为博主原创文章,未经博主允许不得转载。转载请务必加上原作者:铭毅天下,原文地址:blog.csdn.net/laoyang360 https://blog.csdn.net/wojiushiwo987/article/details/79028851
文章标签: kafka 命令 常用
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭