Kafka install

DuGuYiZhao

已于 2023-10-26 16:29:22 修改

阅读量89

点赞数

文章标签： kafka

于 2023-10-26 16:14:09 首次发布

本文链接：https://blog.csdn.net/DuGuYiZhao/article/details/134057681

版权

一、Kafka环境搭建：

搭建Kafka环境主要包含三步：

1.安装JDK

（1）下载

https://www.oracle.com/java/technologies/downloads/#java8

（2）安装

安装路径配置（自定义）

G:\Program Files\Java\jdk-21\

（3）环境配置

1）JAVA_HOME

2）classpath

.;%JAVA_HOME%\lib;

3）Path变量

添加Path变量：

%JAVA_HOME%\bin

%JAVA_HOME%\jre\bin

4）版本查看

确认安装成功；

java –version

2. 安装zooKeeper

（1）下载

https://zookeeper.apache.org/releases.html https://zookeeper.apache.org/releases.html

稳定版

注意：带bin后缀

（2）解压

到G:\zookeeper-3.8.3目录

（3）配置

复制zoo_sample.cfg重命名zoo.cfg，修改dataDir

./zookeeper-3.8.3/data

添加环境变量

ZOOKEEPER_HOME：G:\zookeeper-3.8.3

Path添加：%ZOOKEEPER_HOME%\bin

（4）启动zkserver

zkserver

注意：zkserver窗口不要关闭

可能的问题：

找不到或无法加载主类 org.apache.zookeeper.server.quorun.QuorunPeerMain

原因：下载版本错误，如下图为未编译版

处理：下载编译版，apache-zookeeper-3.8.3-bin.tar.gz，带bin后缀；

3. 安装Kafka

（1）下载

https://kafka.apache.org/downloads.html https://kafka.apache.org/downloads.html

（2）解压

到：G:\kafka_2.13-3.6.0

（3）配置

G:\kafka_2.13-3.6.0\config\server.properties

log.dirs=./logs

（4）服务启动

路径定位

cd G:\kafka_2.13-3.6.0

命令执行

.\bin\windows\kafka-server-start.bat .\config\server.properties

注意：窗口不要关闭

（5）测试

创建一个Topic、一个producer、以及一个consumer

1）创建一个Topic

路径定位

cd G:\kafka_2.13-3.6.0\bin\windows

命令执行

创建一个topic，（一个分区，一个备份，主题名为test）

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic test

问题：

Exception in thread "main”joptsimple.Unrecognized0ptionException: zookeeper is not a recognized option at joptsimple.OptionException.unrecognizedOption(OptionException.jaya:108)

原因：安装的kafka版本过高，2.8+的kafka，已经不需要依赖zookeeper来创建topic，新版本使用 --bootstrap-server 参数

新指令执行

创建

kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

查看

kafka-topics.bat --list --bootstrap-server localhost:9092

或者再执行一遍，会提示Topic已存在；

2）创建一个producer

路径定位

cd G:\kafka_2.13-3.6.0\bin\windows

命令执行

kafka-console-producer.bat --broker-list localhost:9092 --topic test

3）创建一个consumer

路径定位

cd G:\kafka_2.13-3.6.0\bin\windows

命令执行

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

二、编译librdkafka封装库

前提条件：确保zkserver和 .\bin\windows\kafka-server-start.bat config\server.properties窗口开启；

1. 安装 ActivePerl

版本查看

perl -version

2. 下载openssl源码

/source/index.html /source/index.html

https://github.com/openssl/openssl

3. 编译环境设置

64位

打开VS的64位本机命令提示窗口

路径定位

cd VC/Auxiliary/Build VS2017/9

cd bin/amd64 VS2010

命令执行

vcvars64.bat

为了使用nmake指令

可能问题：

此时不应有 Files Java jdk-21 bin。

原因:JDK环境变量配置错误。

处理：

4. 配置编译文件和类型

64位Release版本

定位

cd G:\kafka_2.13-3.6.0\OpenSSL_1_1_1-stable

配置命令执行

perl Configure VC-WIN64A --prefix="G:\kafka_2.13-3.6.0\OpenSSL_1_1_1-stable"

perl Configure VC-WIN64A --prefix="G:\kafka_2.13-3.6.0\win64\openssl_build" --openssldir="G:\kafka_2.13-3.6.0\OpenSSL_1_1_1-stable"

/* prefix参数的意义是OpenSSL编译好后的安装路径。

no-asm 参数去掉汇编；

注意：路径双引号包含； */

命令执行

nmake

nmake test

可能问题1：

It looks like you don t have either nmake. exe or dmake. exe on your PATH,so you will not be able to execute the commands from a Makefile.

原因：未安装响应的编译工具未配置其PATH路径；

处理：执行命令 ppm install dmake

可能问题2：do_win64a.bat未生成

原因：从1.1.0版本开始，不再有ms\do_*.bat个文件；

可能问题3：nmake
error C2118: 负下标

NMAKE : fatal error U1077: “"F:\Program Files\Microsoft Visual Studio\2022\Professional\VC\Tools\MSVC\14.33.31629\bin\HostX64\x64\cl.EXE"”: 返回代码“0x2”

NMAKE : fatal error U1077: “"F:\Program Files\Microsoft Visual Studio\2022\Professional\VC\Tools\MSVC\14.33.31629\bin\HostX64\x64\nmake.exe"”: 返回代码“0x2”Stop.