kafka无法启动，生成hs_err_pid****.log日志

已于 2023-03-02 16:35:17 修改
阅读量342 收藏 1
点赞数
分类专栏： 华为云 文章标签： kafka 分布式 java
于 2023-02-13 21:08:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47135938/article/details/129016997
版权

我买了三台服务器，在搭建集群时，其中一台服务器的kafka始终无法启动，去对应的日志查看，发现生成了hs_err_pid****.log之类的文件
解决方案：
前往kafka的bin目录，然后vim kafka-server-start.sh
将"-Xmx1G -Xms1G"修改为"-Xmx256M -Xms128M"在这里插入图片描述
然后再试试启动kafka，反正我的是成功了

（kafka启动脚本kafka-server-start.sh中默认了kafka启动所需的最小内存为1G，而日志生成的hs_err_pid***.log中显示如下）*
在这里插入图片描述
所以，出问题了多看日志。。。

后来的后来，我发现原来是我集群中出问题的这台服务器中了木马病毒，被境外拿去挖矿了，***，怪不得总是资源不够，跑什么进程都经常被挤掉

MasterSPP
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
记一次kafka集群频繁crash的排查过程
HULK一线技术杂谈
03-15 946
01概述kafka集群中的某些broker会随机重启，并且重启没有什么规律。broker重启对于client端使用层面是无感知的，但是在数据一致性、稳定性方面存在风险。broker重启时，...
hs_err_pid.log日志，有趣的两个Jvm参数
qq_41154944的博客
05-03 836
遇到一个很有意思的问题，Jvm进程因系统资源不足时会被操作系统kill掉，当守护进程重新拉起该进程时，会产生一个日志文件:hs_err_pid.log，默认情况下这个日志会被生成到工作目录下。今天为了修改这个默认路径，复现了一下Jvm进程OOM后Crash的情况。 那么OOM究竟会不会导致Jvm进程被Crash掉呢？今天上网查了下资料和自己测试了下，结果是oom不会导致Jvm进程被Crash，而是...
从源码和日志文件结构中分析 Kafka 重启失败事件
后端进阶
03-22 501
上次的 Kafka 重启失败事件，对为什么重启失败的原因似乎并没有解释清楚，那么我就在这里按照我对 Kafka 的认识，从源码和日志文件结构去尝试寻找原因。 从源码中定位到问题的根源 首先把导致 Kafka 进程退出的异常栈贴出来： 注：以下源码基于 kafka 0.11.0.2 版本。 我们直接从 index 文件损坏警告日志的位置开始： kafka.log.Log#loadSegmentFi...
kafka启动失败
wsyzxss的博客
11-23 7535
ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID 1m798TADRZerLuFBGDS9mw doesn't match stored clusterId Some(8XlbKFlXSE2hSzZ6OX_Rqg) in meta.properties.
kafka节点启动不了
liangsir
10-12 1056
肯定是复制过去的server.properties没有修改里面的brokerid,这个在每个节点是不一样的
Kafka服务端日志详解
最新发布
qq_44027353的博客
08-10 1906
进入到上方配置文件中指定的目录下查看，topic的数据都是以topic名 + partition下标的命名方式保存的我们现在进入其中一个partition目录.index日志索引文件，采用的稀疏索引提高查询效率，记录的是消息偏移量offset 和 该消息在.log文件中的位置position.log消息保存在.log文件中，是以二进制的方式保存的。可以通过.index和.timeindex两个索引文件加速查找消息。
kafka-manager由于PID文件的存在无法重新启动
sinat_36059653的博客
03-01 5344
用playbooks脚本部署kafka-manager，当重新启动kafka-manager时，总会报如下错误：This application is already running (Or delete /home/vmware/ kafka-manager-master/target/universal/kafka-manager-1.3.0.7/RUNNING_PID file). 手动...
这个错怎么改 D:\java_soft\kafka_2.13-3.5.0>bin\windows\kafka-server-start.bat config\server.properties Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='页 面文件太小，无法完成操作。' (DOS error/errno=1455) # # There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (mmap) failed to map 1073741824 bytes for Failed to commit area from 0x00000000c0000000 to 0x0000000100000000 of length 1073741824. # An error report file with more information is saved as: # D:\java_soft\kafka_2.13-3.5.0\hs_err_pid19416.log
07-11
这个错误是由于Java运行时环境的内存不足导致的。可以尝试以下方法来解决这个问题： ...如果问题仍然存在，你可以查看报错信息中提到的错误报告文件`hs_err_pid19416.log`，以获取更多详细信息来分析和解决问题。
启动Kafka报错:error='Cannot allocate memory'，物理内存不足
qq_45804925的博客
04-23 1207
今天安装kafka且启动时报错"Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error=‘Cannot allocate memory’ (errno=12)" 查了一下其原因就是服务器的物理内存太小，内存不足 报错如下所示： J...
kafka启动时内存异常
涛哥的博客
02-15 9656
一 启动时内存不足 ## There is insufficient memory for the Java Runtime Environment to continue. # Native memory allocation (malloc) failed to allocate 986513408 bytes for committing reserved memory. #
JVM Crash，生成hs_err_pid.log文件
03-28
NULL 博文链接：https://txyly998.iteye.com/blog/1264721
Flink实战-（5）Flink Kafka实时Error日志告警
Carson073的博客
06-22 863
Maven配置 application.properties配置 2.1 工具类 2.2 反序列化类 2.3 日志结构设计 样例数据： 2.4 主类 2.5 模拟日志生成类 3 本地运行 运行成功！
kafka 启动的时候报错
sinat_42888557的博客
06-11 806
[root@hadoop01 .sh]# ./kafka.sh ./kafka.sh: line 2: syntax error near unexpected token `;' ./kafka.sh: line 2: `ssh root@hadoop02 /bigdata/kafka/bin/kafka-server-start.sh config/server.properties &am...
Kafka-服务端-日志存储
andy的博客
01-22 1358
Kafka中存储的一般都是海量消息数据，为了避免日志文件太大，Log并不是直接对应于磁盘上的一个日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是<topic_name>_≤partition_id>,Log与分区之间的关系是一一对应的，对应分区中的全部消息都存储在此目录下的日志文件中。在重建索引文件过程中，如果遇到了压缩消息需要进行解压，主要原因是因为索引项中保存的相对offset是第一条消息的offset,而外层消息的offset是压缩消息集合中的最后一条消息的offset。
启动zookeeper和kafka时 kafka无法启动或者闪退
sis12e的博客
04-11 6188
kafka无法启动或者kafka启动以后 kafka进程自动挂掉 查看kafka日志位置 server.properties 我的路径是/opt/module/kafka/config/server.properties)第59行就是kafka日志的默认位置datas下的文件全部删除查看zookeeper日志位置 我的路径是/opt/module/zookeeper/conf/zoo.cfg第12行就是zookeeper的默认日志位置删除zkData下的所有文件。
Kafka启动不成功日志报错
weixin_50688830的博客
09-01 4728
Kafka启动不成功，日志报错解决
Kafka 问题记录
qq_15138049的博客
04-20 3392
1、Found a corrupted index file due to requirement failed: Corrupt index found broker 所在虚拟机异常关机、kafka 服务启动关闭，日志报错如下： 删除： kafka logs文件夹，再次启动
kafka启动报错
一般社员的博客
10-14 2590
具体的报错日志可以去 /home/kafka_2.13-3.3.1/hs_err_pid23538.log查看。进入kafka安装目录下的bin目录修改kafka-server-start.sh。同理把bin目录下的zookeeper启动文件也改一下。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值