kafka部署

最新推荐文章于 2024-04-17 06:06:04 发布

Mrs_DongDong

最新推荐文章于 2024-04-17 06:06:04 发布

阅读量181

点赞数

文章标签： kafka 分布式 java

本文链接：https://blog.csdn.net/Mrs_DongDong/article/details/129937184

版权

文章详细介绍了如何在Windows和Linux环境下进行ApacheKafka的单机部署，包括JDK的先决条件、解压安装包、配置log.dirs、启动Zookeeper和Kafka服务器、创建topic、以及启动生产者和消费者的过程。

摘要由CSDN通过智能技术生成

单机部署

a. windows部署

目录准备，D盘新建目录kafka_2.12-3.2.1及kafka_2.12-3.2.1\logs目录
解压，前置运行条件需要在windows机器上装有1.8或以上的JDK环境，将kafka_2.12-3.2.1.tgz解压至D:\kafka_2.12-3.2.1，同时新建目录：D:\kafka_2.12-3.2.1\logs，修改配置文件D:\kafka_2.12-3.2.1\config\server.properties，搜索配置项:log.dirs，修改路径为：D:\kafka_2.12-3.2.1\logs，即：log.dirs=D:\kafka_2.12-3.2.1\logs，指定kafka运行日志目录
zookeeper启动，因kafka内置zookeeper，对于单机部署的情况可直接使用内置zookpeer，打开cmd命令行界面,切换至D:\kafka_2.12-3.2.1\bin\windows，执行命令:

 zookeeper-server-start.bat ..\..\config\zookeeper.properties

kafka启动，打开cmd命令行界面,切换至D:\kafka_2.12-3.2.1\bin\windows，执行命令:
```
kafka-server-start.bat ..\..\config\server.properties
```
创建topic，创建一个名叫test的话题，打开cmd命令行界面，切换至D:\kafka_2.12-

3.2.1\bin\windows，创建一副本一分区，执行命令：
```
kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-
factor 1 --partitions 1 --topic test
```
replication-factor：副本数量，与broker数量相关

partitions：分区数量，一个topic可以设定多个分区
开启生产者，打开cmd命令行窗口，执行：
```
kafka-console-producer.bat --broker-list localhost:9092 --topic test
```
此时出现输入符，输入字符串：hello kafka! 按回车结束
开启消费者，打开cmd命令行界面，切换至D:\kafka_2.12-3.2.1\bin\windows，执行命令：
```
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
```
–from-beginning :增加该参数表示从最早的位置开始消费数据，不加默认从最新的位置消费数据此时可以看到界面返回hello kafka!

b. linux部署

目录准备，新建目录/home/kafka/kafka_2.12-3.2.1及/home/kafka/kafka_2.12-3.2.1/logs
解压，前置运行条件需要在linux机器上装有1.8或以上的JDK环境，将kafka_2.12-3.2.1.tgz解压至/home/kafka/kafka_2.12-3.2.1，同时新建目录：/home/kafka/kafka_2.12-3.2.1/logs，修改配置文件/home/kafka/kafka_2.12-3.2.1/config/server.properties，搜索配置项:log.dirs，修改路径为：D:\kafka_2.12-3.2.1\logs，即：log.dirs=/home/kafka/kafka_2.12-3.2.1/logs，指定kafka运行日志目录
zookeeper启动，打开第一个shell命令行界面,切换至/home/kafka/kafka_2.12-3.2.1/bin，执行命令:
```
sh zookeeper-server-start.sh ..\config\zookeeper.properties
```
kafka启动，打开第二个cmd命令行界面,切换至/home/kafka/kafka_2.12-3.2.1/bin，执行命令:
```
sh kafka-server-start.sh ..\config\server.properties
```

创建topic，打开第三个cmd命令行界面，切换至/home/kafka/kafka_2.12-3.2.1/bin，执行命令：

sh kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

开启生产者，重用第4步的命令行窗口，执行：

sh kafka-console-producer.sh --broker-list localhost:9092 --topic test

此时出现输入符，输入字符串：hello kafka! 按回车结束

开启消费者，打开第四个cmd命令行界面，切换至/home/kafka/kafka_2.12-3.2.1/bin，执行命令：
```
sh kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 
```
此时可以看到命令行界面返回hello kafka!