kafka命令操作(详细)

kafka命令操作

【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】

kafka0.10.2.1搭建看我另一篇文章：kafka0.10.2.1集群搭建(详细++)

在用kafka命令操作之前必须进入kafka的目录下

cd /soft/kafka        //这里我的kafka在soft下

1.开启kafka

bin/kafka-server-start.sh config/server.properties

2.关闭kafka

bin/kafka-server-stop.sh stop

我们开启kafka之后，此时的窗口不用退出（如下图），这是一个阻塞进程。开启kafka集群后，如果我们需要进行命令操作，再开窗口打开三台虚拟机就可以。

如图：这就是kafka启动了，之后光标停止在下一行不动，为阻塞进程

再开窗口打开三台虚拟机有两个好处：①就是在另打开的窗口运行命令操作可以在先前窗口(阻塞进程的那个窗口)看kafka执行日志，能看出错误等②关的时候方便，直接关闭阻塞进程的那几个窗口就会将kafka关闭了。

3… 创建topic

bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 2 --partitions 2 --topic first

参数解释：
-topic ：定义topic名
–partitions 2 ：定义分区有2个
-replication-factor 2：定义副本数有2个
这里创建topic是要写在zookeeper里，所以端口是2181

4…查看topic是否创建成功，看kafka集群有几个topic

bin/kafka-topics.sh --zookeeper master:2181 --list

创建完topic后在logs(日志文件)内有显示topic的分区，分区是以文件夹形式存在

5. hdfs有3个集群，副本数可以设置为10，意思是如果集群增加最大副本数不能超过10个
kafka有3个集群，副本数设置超过集群数就会报错。

bin/kafka-topics.sh --create --zookeeper master:2181 --partitions 2 --replication-factor 4 --topic second

kafka副本数就是实际的副本数，而不是像hdfs副本数是最大副本数

6.发送消息

bin/kafka-console-producer.sh --broker-list master:9092 --topic first

回车然后光标会另起一行，有的版本会出现“>”，在“>”后面输入你想输的数据
有的版本没有“>”，直接输入数据即可

7.消费消息

(1)bin/kafka-console-consumer.sh --zookeeper master:2181 --topic first 

这条命令是消费最新的数据，就是说没启动消费消息之前发送的消息不会接收到

(2)加上–from-beginning参数，就是从没启动消费消息之前，发送的消息也在启动消费消息之后接收到

bin/kafka-console-consumer.sh --zookeeper master:2181 --from-beginning --topic first

(3)这里每次消费消息都有一个警告，如下问题：

这个警告原因是kafka版本问题，到了kafka高版本之后就将offset维护在kafka本地,不交给zookeeper维护就会警告

高版本之后的消费消息用下面的命令将不会报错：

消费最新的数据：

bin/kafka-console-consumer.sh  --bootstrap-server master:9092 --topic first

加上–from-beginning参数，就是从开始开始消费

bin/kafka-console-consumer.sh  --bootstrap-server master:9092 --topic first --from-beginning

8.查看某个topic的详情

bin/kafka-topics.sh --zookeeper master:2181 --describe --topic first

如下图：

9.删除topic

bin/kafka-topics.sh --zookeeper master:2181 --delete --topic first

【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】