Kafka 实战 - Windows10安装Kafka

要在 Windows 10 上安装 Apache Kafka，可以按照以下步骤进行操作：

前置条件

1. 安装 Java Development Kit (JDK):
   Kafka 需要 Java 运行环境。请确保已安装 JDK 8 或更高版本。可以从 Oracle 官方网站 或 AdoptOpenJDK 下载并安装适合 Windows 的版本。安装后，设置系统环境变量：

   • JAVA_HOME: 设置为 JDK 的安装路径，如 C:\Program Files\Java\jdk1.8.0_XXX。
   • Path: 在系统变量的 Path 中添加 %JAVA_HOME%\bin。

   验证安装成功：在命令提示符中输入 java -version，应显示已安装的 Java 版本信息。

2. 下载 Kafka:
   访问 Apache Kafka 官方下载页面 获取最新稳定版本的 Kafka。下载适用于 Windows 的 .zip 文件。

安装 Kafka

1. 解压 Kafka:
   将下载的 Kafka .zip 文件解压到一个合适的目录，如 C:\kafka。确保路径中不含空格或特殊字符。

2. 配置 Kafka:

   • 配置 ZooKeeper（可选，仅在不使用外部 ZooKeeper 集群时需要）：
     编辑 Kafka 安装目录下的 config/zookeeper.properties 文件，可保持默认配置，但建议设置 dataDir 属性为一个本地路径，如 dataDir=C:/kafka/data/zookeeper，用于存放 ZooKeeper 数据。

   • 配置 Kafka 服务器:
     编辑 config/server.properties 文件，可保持大部分默认配置。如有需要，可调整以下配置：

     • broker.id: 为每个 Kafka 节点设置一个唯一的整数 ID。
     • log.dirs: 设置 Kafka 日志数据的存储路径，如 log.dirs=C:/kafka/data/kafka。

   • 配置 Windows 特定问题（可选，仅在遇到问题时需要）：
     根据之前的资料，若遇到 kafka-run-class.bat 文件执行问题，可以打开 bin/windows/kafka-run-class.bat 文件，找到 set COMMAND 行，将 %CLASSPATH% 前后加上双引号，即改为 "%CLASSPATH%"。

启动 Kafka 和 ZooKeeper

1. 启动 ZooKeeper（仅在不使用外部 ZooKeeper 集群时需要）：
   打开命令提示符，切换到 Kafka 安装目录的 bin 目录下，运行以下命令启动 ZooKeeper：

   .\zookeeper-server-start.bat ..\config\zookeeper.properties
   

   ZooKeeper 会在新窗口中运行。保持此窗口开启。

2. 启动 Kafka 服务器:
   在另一个命令提示符窗口中，同样切换到 Kafka 的 bin 目录，运行以下命令启动 Kafka 服务器：

   .\kafka-server-start.bat ..\config\server.properties
   

   Kafka 服务器将在新窗口中运行。保持此窗口开启。

验证安装

1. 创建测试主题:
   在新的命令提示符窗口中，切换到 Kafka 的 bin 目录，创建一个测试主题：

   .\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test-topic
   

2. 查看主题列表:
   确认测试主题已创建：

   .\kafka-topics.bat --list --bootstrap-server localhost:9092
   

3. 发送和接收消息:

   • 启动生产者:
     在一个命令提示符窗口中，运行以下命令启动消息生产者：

     .\kafka-console-producer.bat --broker-list localhost:9092 --topic test-topic
     

     在生产者窗口中输入一些文本消息，然后按 Enter 发送。

   • 启动消费者:
     在另一个命令提示符窗口中，运行以下命令启动消息消费者：

     .\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test-topic --from-beginning
     

     消费者窗口应显示从生产者发送过来的文本消息。

完成以上步骤后，您已在 Windows 10 上成功安装并验证了 Apache Kafka。后续使用时，可根据实际需求调整配置、创建更多主题、连接应用程序等。记得在不使用时通过关闭相关命令提示符窗口来停止 Kafka 和 ZooKeeper 服务。在生产环境中，通常会将 Kafka 与外部 ZooKeeper 集群配合使用，并考虑配置安全、监控、持久化存储等高级特性。