windows下安装kafka

一.下载

kafka官网下载地址:http://kafka.apache.org/downloads.html,下载二进制的.

二.安装

1.安装zookeeper

windows环境下安装zookeeper(单机版)

安装并启动后的界面:

2.安装kafka

我下载的kafka_2.13-2.8.0.tgz,并解压到D:\Tools\kafka_2.13-2.8.0目录下

•  编辑文件Kafka配置文件， D:\Tools\kafka_2.13-2.8.0\config\server.properties
•  找到并编辑log.dirs=D:\\Tools\\kafka_2.13-2.8.0\\kafka-logs, (自定义文件夹)
•  找到并编辑zookeeper.connect=localhost:2181。表示本地运行(默认的可以不改)
•  Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181。
   

三.启动Kafka服务器

1.进入Kafka安装目录,新建cmd窗口:cd D:\Tools\kafka_2.13-2.8.0,输入命令
 

.\bin\windows\kafka-server-start.bat .\config\server.properties

或者进入D:\Tools\kafka_2.13-2.8.0\bin\windows目录下执行

kafka-server-start.bat ..\..\config\server.properties

或者填写绝对路径

D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat D:\Tools\kafka_2.13-2.8.0\config\server.properties

注意：不要关了这个窗口，启用Kafka前请确保ZooKeeper实例已经准备好并开始运行

四.测试

kafka专业术语介绍:Kafka的简介

1.创建主题

新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令,创建一个叫topic001的主题

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic001

可以关掉这个窗口

2.创建生产者

新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令

kafka-console-producer.bat --broker-list localhost:9092 --topic topic001

3.创建消费者

新建cmd窗口,进入kafka的windows目录下,cd D:\Tools\kafka_2.13-2.8.0\bin\windows,输入以下命令

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic001 --from-beginning

4.生产消息并消费

 

5.其他命令

新建cmd窗口,cd D:\Tools\kafka_2.13-2.8.0\bin\windows

1.列出主题：kafka-topics.bat –list –zookeeper localhost:2181 
2.描述主题：kafka-topics.bat –describe –zookeeper localhost:2181 –topic [Topic Name] 

 

 

 

6.操作日志的处理

kafka启动后，如果你去查看kafka所在的根目录，或者是kafka本身的目录，会发现已经默认生成一堆操作日志(这样看起来真心很乱)：

而且会不断生成不同时间戳的操作日志。刚开始不知所措，一番研究后，看了启动的脚本内容，发现启动的时候是会默认使用到这个log4j.properties文件中的配置，而在zoo.cfg是不会看到本身的启动会调用到这个，还以为只有那一个日志路径：

在这里配置一下就可以了，找到config下的log4j.properties：

将路径更改下即可，这样就可以归档在一个文件夹下边了，路径根据自己喜好定义：

另外如何消除不断生成日志的问题，就是同一天的不同时间会不停生成。

修改这里，还是在log4j.properties中：

本身都为trace，字面理解为会生成一堆跟踪日志，将其改为INFO即可。

 

 

五.将kafka安装成windows的服务

nssm是一款windows 服务安装工具，简单方便， windows service wrapper 也是一个类似的工具，但是需要进行配置文件编写

下载的地址：http://nssm.cc/release/nssm-2.24.zip

1、将软件解压到D:\Tools\nssm-2.24,cmd进入D:\Tools\nssm-2.24\win64
2、输入命令.\nssm install 会弹出一个nssm service installer
3、application path ：D:\Tools\kafka_2.13-2.8.0\bin\windows\kafka-server-start.bat
4、startup directory : D:\Tools\kafka_2.13-2.8.0\bin\windows 上面选择后会自动选择出来
5、Arguments: D:\Tools\kafka_2.13-2.8.0\config\server.properties
6、然后记得写服务名称kafka就行了

 

6.kafka管理界面

kafka-manager 由 yahoo 公司开发，该工具可以方便查看集群 主题分布情况，同时支持对 多个集群的管理、分区平衡以及创建主题等操作。不过雅虎已经将其更名为CMAK（Cluster Manager for Apache Kafka）。下载地址:https://github.com/yahoo/CMAK/releases，目前最新版是3.0.05，Attached release asset was compiled with java 11.

如果你所部署的kafka集群不支持最新CMAK的要求，可以下载1.x版本试试。

 

网上很多方法是需要sbt构筑编译的，还需要翻墙或配置文件使用镜像，如果你是用于个人研究学习，这里我给了kafka-manager-1.3.3.17下载包，是编译过的，可以直接使用，也可以自己上网找最新的编译过的kafka-manager

百度云盘链接：https://pan.baidu.com/s/109CMP8u25ey7BOIIcikDZg 
提取码：cgfy 

解压到想要放到的目录，找到其中的conf目录，打开 application.conf文件，修改其中的配置信息（这里主要是连接你的zookeeper服务的端口）

kafka-manager.zkhosts="localhost:2181"
其他详细的配置信息参考官方文档：https://github.com/yahoo/kafka-manager

启动后浏览器访问localhost:9000,出现如下管理界面.

退出的时候ctrl+c,会提示你是否终止

CMAK管理工具支持的范围
支持 Kafka 0.8以上版本
Java 11+
zookeeper必须是3.5+版本。

 

修改配置

进入cmak-3.0.0.5/conf，修改配置文件application.conf
用上面的命令编辑打开文件，将下面的两个配置项配置成你实际的kafka集群对应的zookeeper地址。

kafka-manager.zkhosts="kafka-manager-zookeeper:2181"cmak.zkhosts="kafka-manager-zookeeper:2181"

启动服务
默认使用9000端口，如果端口占用，可以通过参数指定端口。

$ bin/cmak -Dconfig.file=conf/application.conf  -Dhttp.port=9001

 

 

 

 

 

 

 

参考博文:

https://www.cnblogs.com/coloz/p/10487679.html

https://blog.csdn.net/weixin_38004638/article/details/91893910

https://blog.csdn.net/qq_30261081/article/details/108057968

https://www.cnblogs.com/bayu/articles/14467738.html

https://blog.csdn.net/weixin_39928940/article/details/110802072

https://blog.csdn.net/chaoxiao1231/article/details/82900606