前言:
历时两天终于将kafka环境搭建好,并将librdkafka的库编译好,踩过很多坑,特在此记录以下。
一. Kafka环境搭建:
搭建Kafka环境主要包含三步:
1、安装JDK(已安装则忽略)
安装完记得配置环境,可参考博文:https://blog.csdn.net/houwanle/article/details/81773832
2、安装zooKeeper
Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper
下载文件:http://zookeeper.apache.org/releases.html 如我下载的文件:zookeeper-3.4.14.tar.gz
(1)解压zookeeper 到 D:\zookeeper-3.4.14 目录
打开:D:\zookeeper-3.4.14\conf,把zoo_sample.cfg复制一份,并重命名成zoo.cfg ,打开zoo.cfg文件(我用的notepad++打开的此文件),找到如下信息并做修改
把dataDir的值改成“./zookeeper-3.4.14/data”
(2)添加zookeeper环境变量
ZOOKEEPER_HOME:D:\zookeeper-3.4.14
Path中新建,添加;%ZOOKEEPER_HOME%\bin
(3)运行zookeeper
(4)打开cmd命令窗口 执行 zkserver
注意:这里的cmd窗口不要关闭
3、安装并运行Kafka
3.1 下载安装文件: http://kafka.apache.org/downloads.html 并解压到D:\kafka_2.11-2.3.0
3.2 打开kafka_2.11-2.3.0\config
3.3 从Notepad++里打开 server.properties
3.4 把 log.dirs的值改成 “./logs”
3.6 重新打开一个cmd,进入kafka文件目录: d:
然后 cd D:\kafka_2.11-2.3.0(kafka目录)
3.7 输入并执行: .\bin\windows\kafka-server-start.bat .\config\server.properties
注意:这里的cmd窗口不要关闭
4、进行测试
在测试环节,创建一个Topic(主题)、一个producer(生产者)、以及一个consumer(消费者)
4.1 创建一个Topic主题
打开cmd 并进入cd D:\kafka_2.11-2.3.0\bin\windows
创建一个topic,在cmd中输入:(一个分区,一个备份,主题名为test)