windows下安装配置kafka详解

熊出没

已于 2024-03-27 10:27:06 修改

阅读量1.6k

点赞数 19

分类专栏：中间件文章标签： windows kafka 分布式

于 2023-12-05 14:46:21 首次发布

本文链接：https://blog.csdn.net/weixin_40141628/article/details/134806994

版权

中间件专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一、安装zookeeper

在使用Kafka之前，通常需要先安装和配置ZooKeeper。ZooKeeper是Kafka的依赖项之一，它用于协调和管理Kafka集群的状态。

ZooKeeper是一个开源的分布式协调服务，它提供了可靠的数据存储和协调机制，用于协调分布式系统中的各个节点。Kafka使用ZooKeeper来存储和管理集群的元数据、配置信息和状态。

1.下载

官网地址： https://zookeeper.apache.org/releases.html

在 "Download" 部分找到最新版本的 ZooKeeper，选择适合的版本，并下载对应的二进制文件（.tar.gz 格式）。

2. 解压配置

创建配置的数据目录，创建一个空文件夹，例如 C:/zookeeper/data。
创建配置的日志目录，创建一个空文件夹，例如 C:/zookeeper/log。

配置ZooKeeper：

在解压后的 ZooKeeper 目录中，找到 conf 文件夹。
复制 zoo_sample.cfg 文件并将其重命名为 zoo.cfg。
打开 zoo.cfg 文件并编辑以下配置：
- dataDir：指定 ZooKeeper 数据目录的路径，例如 dataDir=C:/zookeeper/data。、
- dataLogDir：指定日志路径：dataLogDir=C:/zookeeper/log
- clientPort：指定 ZooKeeper 服务监听的端口号，默认为 2181。
- 其他可选配置，如需要。
  - tickTime 客户端与服务器或者服务器与服务器之间维持心跳，也就是每个tickTime时间就会发送一次心跳。通过心跳不仅能够用来监听机器的工作状态，还可以通过心跳来控制Flower跟Leader的通信时间
  - initLimit 集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数
  - syncLimit 集群中flower服务器（F）跟leader（L）服务器之间的请求和答应最多能容忍的心跳数
  - dataDir 用来存放myid信息跟一些版本，日志，跟服务器唯一的ID信息等。
  - dataLogDir 存放事务日志的文件夹
  - clientPort 客户端连接的接口，客户端连接zookeeper服务器的端口，zookeeper会监听这个端口，接收客户端的请求访问！这个端口默认是2181。
  - maxClientCnxns 允许连接的客户端数目，0为不限制,通过IP来区分不同的客户端
- - 配置环境变量（可选）：将 ZooKeeper 的安装路径添加到系统的环境变量中，方便在任意位置执行 ZooKeeper 相关命令。

3. 启动

启动 ZooKeeper：

打开命令行终端，进入 ZooKeeper 的安装目录。
运行以下命令启动 ZooKeeper 服务器：.\bin\zkServer.cmd

验证安装：

打开另一个命令行终端，进入 ZooKeeper 的安装目录。
运行以下命令连接到 ZooKeeper 服务器：.\bin\zkCli.cmd

也可直接运行可执行文件：

二、安装kafka

1.下载 Kafka 安装包：

访问 Apache Kafka 的官方网站：https://kafka.apache.org/downloads
在 "Download" 部分找到最新版本的 Kafka，选择一个稳定的版本，并下载对应的二进制文件（.tgz 格式）。

2. 配置kafka

在解压后的 Kafka 目录中，找到 config 文件夹。
编辑 server.properties 文件，根据你的需求进行以下配置：
- listeners：指定 Kafka 监听的端口号和地址，默认为 PLAINTEXT://localhost:9092。
- log.dirs：指定 Kafka 日志文件存储的路径，默认为 /tmp/kafka-logs。
- zookeeper.connect：指定zookeeper端口号，默认localhost:2181
- 其他可选配置，如需要。

3.启动kafka

1、先启动zookeeper，参考上文

2，启动Kafka 服务器：

打开命令行终端，进入 Kafka 的安装目录。
运行以下命令启动 Kafka 服务器：

 .\bin\windows\kafka-server-start.bat .\config\server.properties

3，验证安装：

打开另一个命令行终端，进入 Kafka 的安装目录。
运行以下命令创建一个测试主题（topic）：.\bin\windows\kafka-topics.bat --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
如果成功创建主题，就表示 Kafka 安装成功。