CentOS环境下Zookeeper与Kafka的快速部署与实践

目录

步骤1：环境准备

步骤2: 连接到虚拟机

步骤3: 启动 Zookeeper (独立模式)

步骤4: 启动 Kafka

步骤5: 检查服务状态和操作主题

步骤6: 消费 Kafka 主题消息

步骤7: 生产 Kafka 主题消息

步骤8: 实时消息接收

步骤1：环境准备

• 虚拟机名称: hadoop01

• IP地址: 192.168.80.151

• 端口: 9092

• Kafka版本: kafka_2.12-3.7.0

• Zookeeper版本: zookeeper-3.4.10

步骤2: 连接到虚拟机

1. 打开Xshell，连接到虚拟机hadoop01。

步骤3: 启动 Zookeeper (独立模式)（hadoop01-第一个窗口）

# 进入Zookeeper的bin目录
cd /usr/local/zookeeper-3.4.10/bin

# 启动Zookeeper
./zkServer.sh start

# 查看Zookeeper状态
./zkServer.sh status

验证: 查看状态输出，确认Zookeeper服务已启动。

步骤4: 启动 Kafka

# 进入Kafka的bin目录
cd /usr/local/kafka_2.12-3.7.0/bin

# 启动Kafka服务
./kafka-server-start.sh ../config/server.properties

验证: 检查日志文件或使用jps命令确认Kafka进程已启动。

步骤5: 检查服务状态和操作主题（hadoop01-第二个窗口）

# 进入Kafka的bin目录
cd /usr/local/kafka_2.12-3.7.0/bin

# 查看已启动的Java进程
jps

# 创建主题bigdata22（如果需要）
./kafka-topics.sh --bootstrap-server 192.168.80.151:9092 --topic bigdata22 --create

# 查看已创建的主题
./kafka-topics.sh --bootstrap-server 192.168.80.151:9092 --topic bigdata22 --list

注意: 如果主题bigdata22已存在，可以跳过创建主题的步骤。

步骤6: 消费 Kafka 主题消息

# 进入Kafka的bin目录
cd /usr/local/kafka_2.12-3.7.0/bin

# 消费主题bigdata22的消息
./kafka-console-consumer.sh --bootstrap-server 192.168.80.151:9092 --topic bigdata22

操作: 在黑窗口3中发送消息，黑窗口2应实时显示接收到的消息。

步骤7: 生产 Kafka 主题消息（hadoop01-第三个窗口）

# 进入Kafka的bin目录
cd /usr/local/kafka_2.12-3.7.0/bin

# 生产主题bigdata22的消息
./kafka-console-producer.sh --bootstrap-server 192.168.80.151:9092 --topic bigdata22

操作: 在命令行中输入消息，然后按Enter键发送。

步骤8: 实时消息接收

• 在黑窗口3中，使用命令行生产者工具发送消息。

• 黑窗口2中的命令行消费者工具应实时接收并显示这些消息。