Kafka简单搭建及常用命令

一、Kafka的服务搭建

    1. 安装包下载

    这里我下载的是目前最新的版本，在3.X版本及之后的版本中，Kafka已经移除了Zookeeper的强依赖，虽然依旧支持以Zookeeper的方式启动，但本文仅介绍无Zookeeper的启动方式，即kraft模式。

    （说明：Kafka下载的为压缩包，解压即可使用，不需安装，且压缩包为windows与linux系统通用，windows通过bat文件使用，linux通过sh文件使用，实际项目中基本都是通过linux系统使用，所以此处本人仅对linux系统下的使用进行测试验证）

下载地址：https://kafka.apache.org/downloads

    并将下载好的压缩包上传到服务器，这里上传到了虚拟机中的/usr/local/目录下：

    2. 解压

解压命令：tar -zxvf "压缩包名"

    3. 生成集群ID

    进入解压出来的文件夹下的bin目录中，执行以下命令，生成一个唯一的集群id

./kafka-storage.sh random-uuid

    4. 格式化存储目录

    通过如下命令格式化存储目录，注意：-t参数需要指定上一步生成的集群id，即将下面命令中的"Tc5TTyKZQfil377YgmT5uQ "替换为你自己在上一步生成的集群id，另外，-c参数后需要指定的是config中的kraft中的server.properties配置文件，而不是config中的server.properties文件，后者是zookeeper模式启动需要的配置文件，前者才是我们使用kraft模式需要的配置文件，且后面服务的启动等操作都是围绕着这个配置文件来进行的。

./kafka-storage.sh format -t Tc5TTyKZQfil377YgmT5uQ -c ../config/kraft/server.properties

    在格式化存储目录之后，会自动创建好目录/tmp/kraft-combined-logs，此目录即为kafka服务相关数据的存储位置。

    5. 启动kafka服务

    回到kafka下的bin目录，通过如下命令启动kafka

./kafka-server-start.sh ../config/kraft/server.properties

    打印出以下日志即为启动成功

二、常用命令

    （以下命令皆在kafka的bin目录下执行）

1. 查看topic列表

./kafka-topics.sh --bootstrap-server localhost:9092 --list

2. 查看topic相关详细信息

./kafka-topics.sh --bootstrap-server localhost:9092 --describe

3. 创建topic

 ./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic quanyu-topic --replication-factor 1 --partitions 2

参数说明：

    topic：指定topic名称，例如事例中topic名称为quanyu-topic

    replication-factor：用来设置主题的副本数。每个主题可以有多个副本，副本位于集群中不同的broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败。

    partitions：主题分区数量。kafka通过分区策略，将不同的分区分配在一个集群中的broker上，一般会分散在不同的broker上，当只有一个broker时，所有的分区就只分配到该Broker上。

4. 建立生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic quanyu-topic

    以上命令执行完成之后会开始等待输入，每次输入完成后敲入回车便会发送一条消息，如以下截图，共发送了三条消息：111，222，333

    如要停止该生产者，则输入Ctrl+Z即可退出。

5. 建立消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic quanyu-topic --from-beginning --consumer.config ../config/consumer.properties

    以上命令执行之后会进入监听状态，等待接收到消息之后直接显示在控制台中，同样的，如要停止该消费者，输入Ctrl+Z即可退出。且通过参数中的--from-beginning，表示从消息队列起始位置开始接收消息；通过参数中的--consumer.config，可以指定消费者使用的配置文件。

6. 删除Topic

./kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic quanyu-topic