🌐 Apache Kafka 简介
流处理平台,用于高吞吐量的实时数据管道。以下是在 Windows 和 Linux 环境下下载、安装和启动 Kafka 的步骤:
🖥️ 1. Windows 环境
📥 下载
1️⃣ 打开浏览器
- 访问 Apache Kafka 的官方网站:https://kafka.apache.org/downloads。
2️⃣ 解压
- 下载完成后,将压缩文件解压到合适的位置。
⚠️ 注意
-
🔵
kafka
的压缩包是window
和Linux
都可以用的,只bin
文件夹下的启动目录不同
-
🟢
D:\WORKSOFT\kafka
这个目录要简约,不要带有版本号或其他乱七八糟的不然会报错输入行太长。 命令语法不正确。
🛠️ 安装
🐾 由于 Kafka 依赖于 Zookeeper,所以首先需要启动 Zookeeper。
1️⃣ 打开命令行窗口,导航到 Kafka 安装目录。
C:\Users\Administrator>D:
D:\>cd D:\WORKSOFT\kafka
D:\WORKSOFT\kafka>
2️⃣ 启动 Zookeeper:
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
3️⃣ 在一个新的命令行窗口中,启动 Kafka 服务器:
.\bin\windows\kafka-server-start.bat .\config\server.properties
🚀 现在,Kafka 服务器应该已经启动并运行了。
📥 Kafdrop 安装与启动
1️⃣ 确保您已经安装了 Docker
如果没有,可以从 Docker 的官方网站下载并安装。
2️⃣ 打开命令行或 PowerShell。
3️⃣ 使用以下命令运行 Kafdrop:
docker run -d --restart=unless-stopped -p 9000:9000 -e KAFKA_BROKERCONNECT=localhost:9092 obsidiandynamics/kafdrop
4️⃣ 访问
- 一旦容器启动,您可以在浏览器中访问
http://localhost:9000
来查看 Kafka 的 UI 界面。
🐧 2. Linux 环境
📥 下载
1️⃣ 打开终端。
2️⃣ 使用 wget
命令或 curl
命令从官方网站下载 Kafka。例如:
wget [KAFKA_DOWNLOAD_LINK]
3️⃣ 解压下载的文件:
tar -xvzf kafka_[version].tgz
🛠️ 安装
1️⃣ 转到 Kafka 的目录
cd kafka_[version]
2️⃣ 启动 Zookeeper
./bin/zookeeper-server-start.sh ./config/zookeeper.properties &
3️⃣ 启动 Kafka 服务器
./bin/kafka-server-start.sh ./config/server.properties &
⚠️ 注意:至此,Kafka 应该已经在 Linux 上启动并运行了。上述指导仅适用于本地开发和测试环境。在生产环境中,需要进行额外的配置和调整,确保 Kafka 的稳定性和性能。
📥 Kafdrop 安装与启动
1️⃣ 确保您的系统上已经安装了 Docker。
如果没有,可以使用包管理器(如 apt 或 yum)安装。
2️⃣ 打开终端。
3️⃣ 使用以下命令运行 Kafdrop
docker run -d --restart=unless-stopped -p 9000:9000 -e KAFKA_BROKERCONNECT=localhost:9092 obsidiandynamics/kafdrop
4️⃣ 浏览器访问
一旦容器启动,您可以在浏览器中访问 http://localhost:9000
来查看 Kafka 的 UI 界面。
⚠️ 注意:确保 Kafka broker 的地址和端口与 Kafdrop 容器中的 KAFKA_BROKERCONNECT
环境变量相匹配。在上述命令中,我们假设 Kafka broker 运行在 localhost
的默认端口 9092
上。如果您的配置与此不同,请相应地调整。