kafka系列：windows安装kafka

最新推荐文章于 2024-05-10 03:18:20 发布
最新推荐文章于 2024-05-10 03:18:20 发布
阅读量2.9k 收藏 10
点赞数 3
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Think_and_work/article/details/130345606
版权

文章目录

一、jdk安装

我这里安装的是jdk1.8
需要进行安装配置,具体的安装教程可以参考

二、安装zookeeper

1、下载并解压zookeeper

方式一：公众号获取
关注 I am Walker回复zookeeper

方式二：官网下载：
https://zookeeper.apache.org/releases.html
这里下载编译好的

image.png
image.png

下载后进行解压

2、修改zoo.cfg配置文件

  • 将conf/zoo_sample.cfg修改为zoo.cfg

  • 查询dataDir 然后创建一个新的data文件夹，并将路径修改为它

记得以\\进行分割
image.png

3、添加zookeeper环境变量

  • 添加系统变量 ZOOKEEPER_HOME，值为自己下载的zookeeper的路径，如我的 D:\env\apache-zookeeper-3.7.1-bin\apache-zookeeper-3.7.1-bin\conf

  • 编辑path变量，添加%ZOOKEEPER_HOME%\bin

4、启动zookeeper

打开命令行，执行zkServer
image.png

该窗口不要关闭

三、kafka安装

1、下载并解压

方式一：关注I am Walker 回复 kafka

方式二：官网下载
https://kafka.apache.org/downloads
image.png

解压后将文件夹名称改为kafka，名称不能太长，否则后面启动的时候会出现错误

2、进行conf目录下打开server.properties进行配置修改
  • log.dirs修改

查询log.dirs，修改日志路径，可以自己创建一个logs文件夹
log.dirs=D:\env\kafka\kafka\logs
image.png

  • zookeeper.connect

如果zookeeper的ip和端口没做改变，则不需要修改
image.png

3、执行命令
  • 进行\kafka目录下，在目录中输入cmd进行命令行

image.png

  • 执行.\bin\windows\kafka-server-start.bat .\config\server.properties

启动前确认zookeeper是开启的
image.png

之后该命令行不要关闭

4、测试
  • 创建主题

image.png

# 
.\bin\windows\kafka-topics.bat 
--create 
--zookeeper localhost:2181 
--replication-factor 1 
--partitions 1 
--topic test
  • 查询topic
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

image.png

  • 创建生产者
.\bin\windows\kafka-console-producer.bat 
--broker-list localhost:9092 
--topic test

image.png

  • 创建消费者
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

image.png

  • 生产者发送信息，消费者接受

在生产者中输入“hello”，可以发现在消费者中能接受到"hello"
image.png
image.png

  • 删除topic
  .\bin\windows\kafka-topics.bat  --delete --zookeeper localhost:2181  --topic test

image.png
可以发现是逻辑删除，并不是先直接物理删除的

删除后重新查询列表

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

image.png

问题
ERROR Shutdown broker because all log dirs in D:\env\kafka\kafka\logs have failed (kafka.log.LogManager)

解决办法：
1.去kafka日志目录下删除log里topic日志（重启kafka还是报错）。
2. 还需要删除zookeeper里zoo.cfg里配置的dataDir目录下的日志。

启动时提示，输入行太长。命令语法不正确

image.png
方式一：
文件名称太长，将其直接改为kafka

方式二：
https://blog.csdn.net/FunnyWhiteCat/article/details/126241088

四、kafka可视化工具offset Explorer

1、下载

方式一：
关注I am Walker 回复 offset Explorer

方式二：官网下载
https://www.kafkatool.com/download.html
image.png

2、安装、启动、连接

打开之后按着步骤安装即可
image.png

安装成功，使用该工具打开
image.png

打开之后连接即可
image.png

3、连接之后就可以查看相关的信息了

image.png

WalkerShen
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
在Windows安装运行Kafka
Hello World
06-13 4万+
一、安装JAVA JDK 1、下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意：根据32/64位操作系统下载对应的安装包 2、添加系统变量：JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_144 二、安装Zo...
kafka 部署成windows服务
05-12
内含kafka-2.12-2.4.0、zookeeper-3.5.6、kafka部署成windows服务教程
【Kafka】Windows下安装Kafka（图文记录详细步骤）
热门推荐
tttzzzqqq2018的博客
08-06 2万+
(一)、Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 (二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
2024年最全Windows环境单节点部署kafka最新版本3(2)，耗时两个礼拜8000字大数据开发面试长文
最新发布
2401_84586689的博客
05-10 688
Kafka 是一个由 LinkedIn 开发的分布式消息系统，它于2011年年初开源，现在由著名的 Apache 基金会维护与开发。Kafka 使用 Scala 实现，所以kafka发布的版本号通常含有两部分，例如kafka_2.12-3.1.0.tgz，其中，2.12为scala版本，3.1.0为kafka版本， Kafka 是基于消息发布﹣订阅模式实现的消息系统，具体实现原理参考官方文档这里不再冗余阐述。
Window下安装Kafka
m0_56426418的博客
06-03 2001
可以选择 源代码 下载，也可以选择 Scala版本 进行下载。这里博主选择 Scala .13 版本进行下载。下载速度很慢，维持在10kb/s，推荐找个镜像网站下载。注意：Kafka安装文件中包含zookeeper。格式文件兼容Windows系统，可以正常运行。进行路径的修改，选择自己适合的路径即可。下载完成解压缩即可。最后保存关闭即可，配置结束。，选择适合的版本进行下载。
Windows系统下搭建Kafka
mry6的博客
06-30 4487
Windows系统下搭建Kafkakafka简介安装JDK安装zookeeper安装Kafkakafka演示创建主题创建生产者创建消费者生产者发送消息，消费者消费消息 kafka简介 Kafka是一个分布式发布——订阅消息传递系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分。Kafka快速、可扩展且耐用。它保留主题中的消息源。生产者将数据写入主题，消费者从主题中读取数据。Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。具有横向扩展，容错，wi
Kafka（Windows）安装配置启动（常见错误扫雷）教程
“逛丢一只鞋”的博客
03-28 5562
下载到本地后，将文件解压到 D:\kafka_2.11-2.4.0，该文件夹包括了所有相关的运行文件及配置文件，其子文件夹bin\windows 下放的是在Windows系统启动zookeeper和kafka的可执行文件，子文件夹config下放的是zookeeper和kafka的配置文件。注意下载完之后，安装kafka的目录，是不是目录下存在空格了， 例如，我放在了 C:\Program Files ，这里面就存在了空格！下载的是否是正确的kafka安装包，千万别下载成源码了。
windows下安装kafka需要的安装包
08-24
windows下安装kafka需要的安装包 Kafka凭借着自身的优势，越来越受到互联网企业的青睐，唯品会也采用Kafka作为其内部核心消息引擎之一。Kafka作为一个商业级消息中间件，消息可靠性的重要性可想而知。如何确保消息的...
kafka windows
04-08
总结，Kafka在Windows环境下的安装和使用虽然与Linux有所不同，但通过理解其核心概念和配置，可以在Windows上搭建稳定且高效的Kafka集群。这使得Windows用户也能充分利用Kafka在大数据处理、日志收集和实时流处理等...
kafka Windows 免安装
05-22
资源中包含启动说明文档，修改配置路径即可使用 资源中包含启动说明文档，修改配置路径即可使用 资源中包含启动说明文档，修改配置路径即可使用 资源中包含启动说明文档，修改配置路径即可使用 ...
windows-kafka安装.rar
03-20
【标题】"Windows环境下Kafka的安装与启动" 在大数据处理和实时流计算领域，Apache Kafka扮演着重要的角色。Kafka是一个分布式流处理平台，它能够高效地处理大量的实时数据。本教程将详细介绍如何在Windows操作系统...
kafka Windows安装
03-20
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。
在Windows上搭建Kafka环境的步骤，包括安装Java、下载Kafka、配置Zookeeper和Kafka、启动Zookeeper和Kafka、创建主题和生产者/消费者等
qqqq5701的专栏
05-12 1254
本文介绍了在Windows上搭建Kafka环境的步骤，包括安装Java、下载Kafka、配置Zookeeper和Kafka、启动Zookeeper和Kafka、创建主题和生产者/消费者等。Kafka是一个功能强大的消息队列，具有高性能、可扩展、分布式等优点，可以满足实时数据流处理、日志收集、流式处理等场景的需求。
windows下安装kafka教程（遇到的坑）
m0_58598033的博客
06-22 2270
Windows下安装运行kafka 第二步，启动kafka2 . 下载kafka：http://kafka.apache.org/downloads.html （注意下载binary版本的） 3. 解压到相应文件夹，进入config目录下，找到server.properties文件，并作以下修改：　　找到并编辑 log.dirs=D:\s...............
【Kafka】在Windows安装运行Kafka
姜太小白的博客
04-22 4863
一、安装JAVA JDK 1、下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2、添加系统变量：JAVA_HOME=C:\Program Files (x86)\Java\jdk1.8.0_144 注意：根据32/64位操作系统下载对应的安装包，添加系统变量时根据实际情况进行添加 二、安装ZooKeeper 1、 下载安装包 http://zookeeper.ap
window安装kafka教程
weixin_41463944的博客
09-25 324
window安装kafka教程
window下kafka的安装以及测试
水w的博客
09-22 2014
window下kafka的安装以及测试
kafka环境安装-基于windows
逍遥壮士
03-25 211
kafka是什么？Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有...
windows环境下搭建kafka
shanshanzhong123的博客
05-06 6387
windows环境下搭建kafka
Kafka在windows安装
11-28
以下是在Windows上安装Kafka的步骤： 1. 下载Kafka：从官网下载Kafka二进制文件，选择与你的Scala版本相对应的Kafka版本。 2. 解压Kafka：将下载的Kafka二进制文件解压到你想要安装的目录中。 3. 配置Kafka：进入Kafka目录，找到config文件夹，编辑server.properties文件。主要需要修改以下三个配置： - broker.id：每个Kafka节点都需要一个唯一的ID，可以在这里设置。 - listeners：Kafka监听的地址和端口号。 - log.dirs：Kafka存储日志文件的目录。 4. 启动Zookeeper：Kafka依赖于Zookeeper，需要先启动Zookeeper。在Zookeeper的bin目录下运行以下命令： ``` zookeeper-server-start.bat ../../config/zookeeper.properties ``` 5. 启动Kafka：在Kafka的bin目录下运行以下命令： ``` kafka-server-start.bat ../../config/server.properties ``` 6. 创建Topic：在Kafka的bin目录下运行以下命令创建一个名为test的Topic： ``` kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test ``` 7. 发送消息：在Kafka的bin目录下运行以下命令发送一条消息到test Topic： ``` kafka-console-producer.bat --broker-list localhost:9092 --topic test ``` 8. 接收消息：在Kafka的bin目录下运行以下命令接收test Topic中的消息： ``` kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WalkerShen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值