windows中kafka环境搭建并测试

最新推荐文章于 2023-12-17 19:26:29 发布

weixin_43290964

最新推荐文章于 2023-12-17 19:26:29 发布

阅读量715

点赞数

文章标签： kafka java 大数据

本文链接：https://blog.csdn.net/weixin_43290964/article/details/125550482

版权

安装kafka并使用命令行方式使用kafka

1、下载安装kafka

进入kafka官网kafka官网，右上角有下载按钮，点击进入，看到如下页面
通过看页面中的介绍我们可以知道最上面提供我们下载的是kafka最新的一个稳定版本3.2.0，我下载的就是最新的版本

下载下来之后，在windows系统中通过360压缩就可以解压缩到任意的位置，这里有的小伙伴可能会因为自己电脑的解压缩软件不支持这个格式而遇到问题，那么大家可以下载安装360压缩，这个软件是免费使用的，也不会有什么广告。

2、使用kafka

经过上面的一步，大家已经在自己的电脑上安装好了kafka，已经可以开始使用了。
在使用前，对kafka的目录结构做一个简要的介绍，bin目录下肯定都是一些脚本文件，kafka最重要的一些启动的脚本就在这里，由于我们是在windows中安装测试kafka，那些在bin目录下的.sh脚本我们是用不到的，我们需要的一些启动脚本和一些命令等都在bin\windows目录下，这里我认为和bin目录下的.sh脚本是一样的，只是后缀变成了.bat，这才是我们windows中可以运行的脚本文件，之后我们会熟悉这些脚本文件是怎么使用的；config目录下存放的是配置文件，zookeeper.properties中存放的时zookeeper启动的一些配置，server.properties是kafka主要的配置文件，命令启动时会读取配置文件。
话不多说，直接命令行启动起来，开始我们的kafka之旅吧！
kafka和zookeeper的关系：简单的介绍一下ZooKeeper，它是一个开源的分布式协调框架，它可以将那些容易出错的分布式一致性服务封装起来，构成一个高效、可靠、简单易用的结构提供给用户使用。

之所以提到ZooKeeper是因为Kafka就是使用ZooKeeper作为协调框架，因为前面下载的压缩包中已经包含了ZooKeeper，因此不需要在单独去下载它的安装包。大家也可以从bin\windows中看到有zookeeper启动的脚本，说明kafka中已经内嵌了zookeeper。
启动服务
由于kafka依赖于zookeeper，所以先启动zookeeper再启动kafka，我进入的是bin\windows目录中，我感觉这样启动输入命令时会方便一点

zookeeper-server-start.bat D:\productivity\kafka_2.13-3.2.0\config\zookeeper.properties

启动成功后没有报错后不要关掉此时的命令行，重新再开一个新的命令行界面，启动kafka服务

kafka-server-start.bat D:\productivity\kafka_2.13-3.2.0\config\server.properties

这里推荐大家下载一个可视化的工具，kafka tool，这边我们通过命令行启动kafka后我们可以通过可视化工具进行连接，更直观，连接成功后如下图所示，可视化工具的基本使用可以参考kafka可视化工具介绍。
这是连接成功的截图

2.1、创建topic

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1--partitions 1 --topic test

如果你使用的和我一样是最新的3.2.0版本，那么你一定会报错的
在这里插入图片描述
报完错第一步当然是上网搜了，很好搜，也很好解决，解决方案是：
在较新版本（2.2 及更高版本）的 Kafka 不再需要 ZooKeeper 连接字符串，即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092来替代- -zookeeper localhost:2181
这样我们就创建了一个名为test的Topic

2.2、查看创建的topic

kafka-topics.bat --list --bootstrap-server localhost:9092

2.3、打开生产者发送消息

kafka-console-producer.bat --broker-list localhost:9092 --topic test

打开后会有 > 标志，提示你输入消息，输入一条后回车，控制台继续等待你输入下一条消息。

2.4、打开消费者接受消息

如果你已经在一个命令行打开了生产者，那么现在另外打开一个命令行用来打开消费者用来接收消息。

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

这时我们在生产者那边一生产出新的消息，消费者这边立马就可以显示出来，消息消费者也会一直处于监听状态。

3、总结

本人在安装kafka的时候并没有改动过配置文件，因为在前两次的安装中因为改了配置文件导致没有运行成功，自此我就可以在本地单机使用kafka了,下篇文章讲我如何用java代码操作kafka。