kafka 报错：Caused by: java.lang.OutOfMemoryError: Map failed

最新推荐文章于 2023-07-29 16:18:26 发布
最新推荐文章于 2023-07-29 16:18:26 发布
阅读量805 收藏 1
点赞数
分类专栏： 项目bug Java学习 文章标签： java kafka jvm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LS9811/article/details/127829655
版权

安装完kafka 测试运行时
前面都没问题 一到创建消费者就报错

Caused by: java.lang.OutOfMemoryError: Map failed

卸载重装不行
有人说因为JVM和电脑64位不匹配
查了一下我JVM是32位，就又下载了64位的，配置好启动kafka还是同样的错误
接着又看，有人说更改kafka-server-start.bat和kafka-run-class.bat里的参数

KAFKA_HEAP_OPTS

但是大家都说往大了改，但是修改之后依旧是报错，同样的
折腾了半天无果
晚上又用手机查，看到一位说改为256

set KAFKA_HEAP_OPTS=-Xmx256M -Xms256M

今天试了以下，终于好了！虽然不太明白为啥这样改，以后再来看看吧
终于能先跑起来了

参考：https://my.oschina.net/u/4932969/blog/5294480

柚子呀
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
向kafka发送大量数据报错java.lang.OutOfMemoryError: Java heap space
weixin_40341521的博客
06-16 721
我们还需要配置kafka-server-start.sh 将启动命令中-Xmx1G -Xms1G加大默认是1个G，可以加大到NG根据自己的服务器及数据量来配置。在kafka的配置文件server.properties中修改socket.request.max.bytes的值，修改之后不再报错。当发送大量数据到kafka时会内存溢出java.lang.OutOfMemoryError: Java heap space。如：socket.request.max.bytes=1073741824。
kafka内存溢出分析：OutOfMemoryError
Autumn_bell的博客
11-19 6232
线上Kafka问题分析：OutOfMemoryError 前言： 最近在线上遇到个奇怪的问题，具体的情景是：由于客户有相应的需求，我们需要提前在程序中判断Kafka集群是否可用，于是我们使用了Kafka0.11.0.0版本之后提供的KafkaAdminClient，这可以方便的创建一个kafka客户端进行集群的管理操作。 经过： 我们使用listTopics()来获取kafka集群所有的topic，如果能获取到相应数据，则能够说明kafka集群运行正常，代码很简单： package com.wenjie.d
【Kafka】由浅入深分析OutOfMemoryError: Map failed
扬_帆_起_航
12-01 890
经过层层分析终于知晓在Kafka运行过程中抛出OutOfMemoryError: Map failed异常并调整系统参数 max_map_count值的整个来龙去脉。需要特别强调Linux系统函数do_mmap中包含多项安全检查，只要任何一项检查不通过都会抛出ENOMEM异常，如果系统参数max_map_count调大后问题依然存在可自助查看该函数源码并分析没有通过安全检查的原因。
kafka重启异常报map failed的解决办法
z11220857的博客
07-16 3675
zk版本：3.4.9 kafka版本：0.10.1.1 集群节点数：6 * 32core,256G java版本，jdk 1.8.0 64bit 背景：6月15日晚9点网络割接，会造成不同网段之前网络断联3min，因此触发了0.10.1.1版本的一个bug，与zk通信版本不同步，zk会报bad version 的问题，9点15分和kakfa 共用的zk的容器集群开始不正常，同时kafka下游消费者反映消费不到数据，因此决定重启zk集群，重启zk集群之后，容器节点恢复正常，但是kafka下游依旧消费不到数据，
Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory
DreamWeaver_Zhou
09-27 8916
这篇文章是我在粗略学习kafka时遇到的问题和网上查阅过的资料。kafka和java我都不是很熟悉，只知道基本的概念。文章中可能有疏漏和错误的地方，大家参考一下就好。有错误拜托大家指正！ broker端 配置文件需要配置的参数 message.max.bytes : kafka 会接收单个消息size的最大限制， 默认为1M左右。如果producer发送比这个大的消息，kafka默认会丢掉。p...
a-kafka-story:卡夫卡生态系统...但是要一步一步来！
05-23
请查看这些很棒的参考 如果您想学习另一种方法，请按照以下步骤操作。 通过运行./fetch.sh和maven一次做自己的事情 然后跳入卡夫卡的故事！ Ksql服务器和UI 更改数据捕获，架构注册表和Ksql ...
KafkaAdminClient：Kafka的运维利器.docx
10-23
AdminClient 是 Java 客户端提供的工具，通过使用 AdminClient，可以在应用程序、运维框架或是监控平台中集成 Kafka 的运维管理功能。下面是 AdminClient 的相关知识点： 1. 介绍 AdminClient 是 Kafka 社区提供的...
Apache Kafka 3.2.0 (Scala 2.13 ：kafka_2.13-3.2.0.tgz)
06-12
Apache Kafka 3.2.0 (Scala 2.13 ：kafka_2.13-3.2.0.tgz) 是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。) 是一个开源分布式事件流平台，被数千家公司用于高...
Kafka 消息队列（高清版）深入理解Kafka：核心设计与实践原理.zip
05-15
《Kafka 消息队列（高清版）深入理解Kafka：核心设计与实践原理》是一本详尽探讨Apache Kafka的书籍，旨在帮助读者深入掌握Kafka的核心设计理念和实际操作技巧。Kafka是一个分布式流处理平台，广泛应用于大数据处理...
flume采集数据采集与kafaka交互报错：java.lang.OutOfMemoryError:java heap space
weixin_43390992的博客
04-07 1191
详细报错如下图： ##解决办法： 进入flume bin目录下，修改flume-ng文件，如下图： 红框的地方默认是20m，可以根据自己服务器内存大小设置，我这里设置的是10240m(也就是10个g) 根据以上的报错，自己也进行搜索并整理了细节的东西，供需要的小伙伴们参考： 博文地址： 记flume部署过程中遇到的问题以及解决方法 配置flume采集kafaka日志导入hdfs（采用的file...
kafka消费报错卡死：内存溢出OutOfMemoryError: Java heap space
最新发布
闫玉林的博客
07-29 3994
【代码】kafka消费报错卡死：内存溢出OutOfMemoryError: Java heap space。
java map failed_java.lang.OutOfMemoryError: Map failed此报错如何解决
weixin_36262567的博客
02-16 1415
java.io.IOException: Map failed详细信息如下 ：java.lang.RuntimeException:java.io.IOException:Mapfailedatcom.fr.web.core.MessageRecorder.initWriter(UnknownSource)atcom.fr.web.core.MessageRecorder.write(...
java map failed_java.lang.OutOfMemoryError:Map failed总结
weixin_29621655的博客
02-13 403
常见的OOM是以下这几种：1.GC overhead limit exceeded2.Java Heap Space3.Unable to create new native thread4.PermGen Space5.Direct buffer memory6.request {} bytes for {}. Out of swap space?一直自认为不会有超过这个范围的OOM类型出现，没...
Windows系统下kafka环境搭建与用命令发布消息和消费消息，java.lang.OutOfMemoryError: Map failed的异常处理
weixin_41076658的博客
08-14 1086
1、准备kafka环境 2、下载kafka 3、部署并启动zookeeper和kafka 4、创建topic 5、用命令创建producer和consumer，发布消息并消费 6、启动kafka和消费消息时的异常处理
【线上事件】Kafka关于Topic和分区数量过多问题
泰山与水
04-20 2840
2019-07-19某系统kafka集群宕机，重启失败 日志 网上相似问题描述：https://javarevisited.blogspot.com/2014/11/javaioioexception-map-failed-javalangoutofmemoryerror.html kafka官网文档参考说明：http://kafka.apache.org/document...
kafka启动报错:java.lang.OutOfMemoryError: Map failed
泡椒酱的的Java学习记录
03-17 6945
kafka原来启动运行的时候，集群启动时正常的，今天在用kafka测试的时候，启动kafka集群，其中的两个节点启动失败，报错如下： java.io.IOException: Map failed at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:944) at kafka.log.AbstractInde...
kafka报错：java.io.IOException: Map failed（解决办法），牛客网第五章，关于kafka的应用。
weixin_52790331的博客
03-31 802
kafka
【Kafka启动报错】Caused by: java.lang.OutOfMemoryError: Map failed
jast
02-15 1325
参考：https://stackoverflow.com/questions/43042144/kafka-server-failed-to-start-java-io-ioexception-map-failed 报错日志 [2022-02-15 16:50:40,558] ERROR Error while deleting the clean shutdown file in dir /home/es/kafka_2.11-2.2.1/logs (kafka.server.LogDirFailureC
Windows10启动Kafka报错java.lang.OutOfMemoryError: Map failed
四国棋客
12-16 2541
背景 在学习Flink的流处理API时，不可避免地要学Kafka。 问题 在启动Kafka的服务器时，报了一堆错误，关键的错误如下 java.io.IOException: Map failed at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:944) at kafka.log.Abstract...
kafka报错： org.apache.kafka.requests.IsolationLevel
05-24
这个报错通常是因为你的 Kafka 客户端使用了不支持的隔离级别。Kafka 支持的隔离级别包括读未提交（read_uncommitted）和读已提交（read_committed），默认为读未提交。如果你指定了一个不支持的隔离级别，就会出现这个报错。 你可以检查一下你的代码，看看是否在创建 Kafka 消费者或生产者时指定了一个不支持的隔离级别。如果有，将其修改为支持的隔离级别即可。如果没有指定隔离级别，可以尝试显式地指定一个支持的隔离级别，如下所示： ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-group"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("isolation.level", "read_uncommitted"); // 显式指定隔离级别 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); ``` 如果还有问题，可以提供更多的报错信息和代码细节，我会尽力帮助你解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值