kafka windows 下 安装和使用 相关踩坑和文档记录

最新推荐文章于 2024-10-23 09:48:29 发布
最新推荐文章于 2024-10-23 09:48:29 发布
阅读量1k 收藏 2
点赞数
分类专栏： kafka 后端开发 文章标签： kafka windows 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WU5229485/article/details/125870309
版权
本文档详细记录了在Windows上安装和使用Kafka的过程中可能遇到的问题及解决办法，包括Kafka和Zookeeper的下载、JAVA_HOME配置、配置文件修改、启动异常处理、主题操作以及数据乱码问题的解决方案。
摘要由CSDN通过智能技术生成

windows 安装 kafka 是比较简单的，但是容易出现很多命令行闪退，或者异常报错等信息，这里简单记录下相关的步骤。

  • kafaka 版本： kafka_2.12-3.2.0
  • zookeeper 版本： apache-zookeeper-3.7.1-bin

目录

1. kafka windows 下载

kafka windows 下载地址
在这里插入图片描述
点击上面那个链接，会来到这个页面，点击再下载：
在这里插入图片描述

2. zookeeper windows 下载

zookeeper windows 下载地址

在这里插入图片描述

3. 首先配置好 JAVA_HOME

在这里插入图片描述
一定要提前配置好 JAVA_HOME 不然，zookeeper 运行直接闪退报错。

4. 配置相关文件

(1) 打开kafka配置文件server.properties

D:\software\kafka_2.12-3.2.0\config\server.properties
编辑如下：（确定日志的存放地址）
在这里插入图片描述

(2) zookeeper修改相关配置

在这里插入图片描述
再编辑zoom.cfg

在这里插入图片描述
对应的目录也要创建好：

在这里插入图片描述

5. 启动 kafka 和 zookeeper 产生的问题解决

kafka-server-start.bat D:\software\k
最低0.47元/天 解锁文章
查看kafka版本java代码_windows下kafka简单使用附java代码
weixin_33672838的博客
02-26 672
1.kafka下载下载地址：http://kafka.apache.org/downloads 选择二进制版本2.启动zookeeper下载后解压到本地，不用修改配置在kafka目录下打开第一个cmd命令(按住shift 在文件夹空白处右键 直接打开命令行)(先输入 title zookeeper 可以把cmd窗口名称改为zookeeper)输入bin\windows\zookeeper-ser...
windows环境下kafka-console-consumer.bat接受中文乱码问题
pengShuai007的博客
08-27 9362
问题描述： 以命令框启动kafka，producer，consumer，当producer发送中文时，consumer接受到的消息为乱码，具体如下图： 生产者如下： 消费者如下： 具体原因未发现，路过大神指教下...
kafka_2.12-2.3.0-SNAPSHOT.tgz 解决windows环境自动退出问题
06-11
我在windows环境下使用kafka进程出现进程占用问题，这个文件是添加补丁过后的版本，测试过在windows环境下不会自动退出，大家可以试试看
Kafka-Windows搭建全流程（环境，安装包，编译，消费案例，远程连接，服务自启，可视化工具）
最新发布
m0_56659620的博客
10-23 2742
Kafka是一款流行分布式消息分布订阅系统，除Kafka之外还有MQ、Redis等。我们可以把消息队列视为一个管道，管道的两端分别是消息生产者(producer)和消息消费者(consumer)，消息生产者产生日志等消息后可以发送到管道中，这时可以驻留在内存或者磁盘上，直到消费者来把它读走为止。上述就是Kafka的一个概括，我们只需要了解一下Kafka的架构和一些专业术语即可，下面就来介绍一下Kafka 中一些专业术语。：消息生产者，负责把产生的消息发送到Kafka服务器上。
启动kafaka提示某文件正在被使用
lv_wencheng的博客
10-15 277
kafka时，提示启动另一个程序正在使用该文件
windows下 kafka启动报错：另一个程序正在使用此文件，进程无法访问
快乐的小三菊的博客
10-15 788
kafka在windows平台就是有这个BUG，没办法。只能手动删除\kafka_2.12-2.5.0kafka-logs里的日志文件重启kafka
一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考
HuaZi_Myth的博客
11-07 4575
本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从日志中获取到Event。 2、日志超过1M后，flume的kafka sink 作为生产者发送给...
商城-文档
weixin_46925850的博客
07-28 8202
谷粒商城学习笔记
Java及依赖和Maven
Claer_XX的博客
07-10 596
Java 更多请见个人主页https://www.bajins.com 目录Javaflag学习MavenMaven私服搭建windows环境变量第三方依赖Dubbo各种好的项目JavaFX flag Java版本比较 https://docs.oracle.com https://docs.oracle.com/javase/8/docs https://docs.oracle.com/javase/7/docs https://www.oracle.com/cn/downloads h
CDH6.3.2 和CDH6.3.1--详细安装文档-附资源
biubiu~！
05-19 1245
（霸王条款，不点不让继续）0大致就是 ：我以了解xxx风险,继续配置使用。
kafka在Windows上的使用及可能存在的问题
凤凰花の博客
03-09 2126
下载 下载地址： 解压 使用7z（推荐）或winRAR解压文件到本地 安装 管理员权限打开控制台 进入到解压目录 配置 修改zookeeper的配置文件 修改kafka服务的配置文件 启动 测试 可能的问题
Kafka踩坑填坑记录
爱是与世界平行
06-17 2890
Kafka踩坑填坑记录一、kafka通过Java客户端，消费者无法接收消息，生产者发送失败消息二、 一、kafka通过Java客户端，消费者无法接收消息，生产者发送失败消息 在虚拟机上，搭建了3台集群，然后，在虚拟机上，测试kafka，通过创建topic，生成者发送消息，消费者接收消息，全部正常； 但是，改用Java客户端在进行测试时，生产者发送的消息，无法发送到虚拟机上，消费者也无法接收到任何消...
Windows系统使用kafka遇到的问题及解决
so_tired的博客
05-08 1375
解决方法：打开kafka安装目录下的bin/windows/kafka-run-class.bat文件，修改161行，set JAVA="c:/program files/Java/jdk（版本不同）/bin/java"（是jdk的默认目录）解决方法：修改bin/windows/kafka-server-start.bat文件，删除第三个if部分，复制第二个if部分，等号后面改成-Xmx1G -Xms1G。解决方法：c:/tmp/kafka-logs下的文件全部删除。4，开启kafka服务没反应。
kafka总结（windows版）
qq_41123533的博客
12-02 596
文章目录一、kafka是什么？二、为何使用消息系统三、常用Message Queue对比RabbitMQRedisZeroMQActiveMQKafka/Jafka四、Kafka拓扑结构五、Kafka相关术语介绍Broker（服务器）Topic（频道）Partition（区分、隔离）Producer（生产者）Consumer（消费者）Consumer Group（消费者组）六、下载七、相关配置八、常用命令 一、kafka是什么？ Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中
Windows环境下Kafka操作中启动的报错问题和解决方法
qq_41144930的博客
10-16 6668
一，启动Kafka报错： 报错的一些情况如下图所示： ERROR Error while loading log dir D:\Download\kafka_2.11-1.0\kafka_2.11-1.0\kafka_2.11-1.0.0\Downloadkafka_2.11-1.0kafka_2.11-1.0kafka_2.11-1.0.0logs (kafka.log.LogManager)...
Windows系统使用kafka遇到的问题及解决2
so_tired的博客
05-30 464
还不行的话找到config文件夹下的server.properties文件，Ctrl+f找到retention修改log.retention.hours=-1，回车后再加一行代码log.cleaner.enable=false。解决方法：如果是端口冲突问题，cmd窗口里输入netstat -aon|findstr 2181找到跟2181冲突的进程，用taskkill /PID (这里写冲突的进程)/F。（以上都是自己使用过程中遇到的问题及解决方法，解决方法不一定适用所有同情况）
Windows环境单节点部署kafka最新版本3.2.1实战（超简单）
java后端开发的博客，不仅仅是后端开发
08-31 6186
通过一个简单的应用场景，体验kafka在Windows服务器中单节点配置的全过程，看完你也会用kafka了，面试可以自信的说我用过。
kafka启动后闪退
鸭梨的博客
01-04 800
[root@mypc01 /]# free -h total used free shared buff/cache available Mem: 1.8G 1.6G 94M 1.5M 110M 75M Swap: 2.0G 1.8G 183M cat kafka-server-start.sh
windows下安装kafka教程（遇到的坑）
m0_58598033的博客
06-22 2348
Windows下安装运行kafka 第二步，启动kafka2 . 下载kafka：http://kafka.apache.org/downloads.html （注意下载binary版本的） 3. 解压到相应文件夹，进入config目录下，找到server.properties文件，并作以下修改：　　找到并编辑 log.dirs=D:\s...............
Kafka集群安装与使用详解
"Kafka集群的安装和使用" 在深入探讨Kafka集群的安装和使用之前，我们首先需要理解Kafka的基本概念和架构。Kafka是一个由LinkedIn开发并开源的分布式消息中间件，后来成为Apache软件基金会的顶级项目。它的核心功能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我的小英短

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值