内存MCE错误导致系统崩溃的问题分析

最新推荐文章于 2024-08-19 15:43:01 发布
最新推荐文章于 2024-08-19 15:43:01 发布
阅读量3.1w 收藏 13
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuyaqun/article/details/13774497
版权
服务器因内存问题崩溃，分析结果显示为ECC内存Error overflow，可能是内存硬件故障。最终确定为主板问题，解决方案是同时更换主板和内存。
摘要由CSDN通过智能技术生成

今天服务器因为内存问题而崩溃，通过mcelog工具分析是在读内存的时候Error overflow（虽然是ECC内存，但也无奈错误太多），估计是内存硬件故障，如果再次出现的话就得考虑更换内存。


最终原因：硬件故障，应该是主板问题，因为是线上服务器为减少计划内停机时间，同时更换主板和内存解决。


# more /var/log/messages

Oct 31 14:19:36 pingu_fd kernel: sbridge: HANDLING MCE MEMORY ERROR

Oct 31 14:19:36 pingu_fd kernel: CPU 0: Machine Check Exception: 0 Bank 5: 8c00004000010092
Oct 31 14:19:36 pingu_fd kernel: TSC 0 ADDR 428fc8840 MISC 204808e886 PROCESSOR 0:206d6 TIME 1383200376 SOCKET 0 APIC 0
Oct 31 14:19:36 pingu_fd kernel: sbridge: HANDLING MCE MEMORY ERROR
Oct 31 14:19:36 pingu_fd kernel: CPU 0: Machine Check Exception: 0 Bank 10: 8800004800800092

Oct 31 14:19:36 pingu_fd kernel: TSC 0 ADDR 0 MISC 4900030243025000 PROCESSOR 0:206d6 TIME 1383200376 SOCKET 0 APIC 0


通过mcelog翻译message的内容如下：

# mcelog sandybridge-ep --asci

最低0.47元/天 解锁文章
运维-Frank
关注
EDAC sbridge MC0: HANDLING MCE MEMORY ERROR导致宕机
qq_42249813的博客
06-25 1012
内存损坏导致宕机
【问题定位】X86环境下的“mce: [Hardware Error]......”错误分析与定位
三全码农的博客
01-25 1970
设备硬件检查错误日志： mce: [Hardware Error]: CPU 0: Machine Check: 0 Bank 7: 9c00004001010092 mce: [Hardware Error]: CPU 0: Machine Check: 0 Bank 17: 8c000040000800c2 的问题分析和定位
【Linux】系统宕机，分析日志发现居然是硬件导致的？
最新发布
小白鸽i的博客
08-19 434
分析分析
message日志输出sbridge: HANDLING MCE MEMORY ERROR错误问题处理
爱辉弟的博客
11-01 2360
/var/log/message系统日志一直输出，造成/分区磁盘被占满 sbridge: HANDLING MCE MEMORY ERROR kernel: CPU 8: Machine Check Exception: o Bank 5: cc00020000010090 kernel: TSC O ADDR 2068ce8080 MISC 40109086 PROCESSOR O: 206d6 TIME 1634693540 SOCKET 1 APIC 20 解决方法： rmmod -v sb_ed
内存故障分析之MCElog
weixin_33814685的博客
12-25 1446
作为一个企业服务器管理员，面对服务器莫名宕机或者主动重启，历经折磨后判断为内存问题引起，可当看到内存多达几十条时，难道要单条测试？要真这样，估计领导也要废了你吧。有没方便有效的方法去速度定位那个DIMM槽内存或者在日常监测内存正常与否呢？下面介绍下linux系统下的监控方法--MCElog。 What are Machine Check Exceptions (...
内存MCE错误导致暴力扩充messages日志 以及chattr记录
weixin_34417814的博客
03-07 442
由于放假，好久没登过服务器，今天登上服务器查看日志意外发现：/var/log/messages文件竟然被撑到20多个G！！！赶紧查看是什么情况，首先，20多个G的文件根本无法查看，因此，我想到了split拆分文件，然后再细化查看，命令如下： split -b 1024m messages mesg_tmp 其中，split命令-b选项可以识别的单位为m、k，即将messag...
linux内存条故障,linux – 如何从MCE消息中找到故障内存模块？
weixin_31586521的博客
04-30 1118
我试图了解MCE消息,以找出服务器上哪个内存模块坏.此消息出现在/var/log/kern.log中的一台服务器中,今天冻结了两次.Apr 13 22:39:22 mbox kernel: [36247975.116860] sbridge: HANDLING MCE MEMORY ERRORApr 13 22:39:22 mbox kernel: [36247975.116867] CPU 0:...
edac错误检测和纠正1
08-03
EDAC 机制可以检测到内存错误，这是由于内存模块的不稳定或故障所导致的。EDAC 机制可以检测到 CE 事件，然后 harvest 这些事件并将其报告给用户空间。这可以预测未来 UE 事件的发生，从而允许管理员采取预防措施，...
CPU静默数据错误：存储系统数据不丢不错的设计思考
阿里云技术
07-05 425
一、背景 对于数据存储系统来说，保障数据不丢不错是底线，也是数据存储系统最难的部分。试想，如果您的银行存款记录为 1 万，因为数据存储系统异常导致该记录丢失、或者数据错误导致位翻转从 1 万变为 0，其影响是致命的。根据统计，丢失数据中心10天的企业，93% 会在1年内破产。 业界的 Data integrity 和Data Corruption 术语就是描述此类问题，它们除了阐述数据错误外，还描述了在数据存储、传输等过程中存在的问题。为了保证理解一致，先明确数据不丢和数据不错的定义： 数据不..
服务器内存故障预测居然可以这样做
JavaMonsterr的博客
07-26 700
随着互联网业务的快速发展，基础设施的可用性也越来越受到业界的关注。然而硬件故障一直以来都是一种普遍存在的现象，由于硬件故障而造成的损失往往是巨大的。在服务器各个部件中，除硬盘故障以外，内存故障是第二大常见的硬件故障类型。并且服务器内存的数量众多，vivo的内存数量达到40w+条，内存故障造成的最严重的后果是会直接导致系统崩溃，服务器宕机，这些对于上层业务而言都是不能接受的。内存故障可分为UCE（UncorrectableError）和CE（CorrectableError）。标记CE错误。...
Linux操作系统加固
悦分享
07-23 1492
如何尽可能地加强Linux的安全性和隐私性？以下列出的所有命令都将需要root特权。以“$”符号开头的单词表示一个变量，不同终端之间可能会有所不同。
ubuntu20.04系统遭遇死机，mce报内存错误，问题定位及解决
热门推荐
qq_52423671的博客
06-19 9万+
系统为ubuntu20.04.6，超微x9dri-f双路主板，两颗e5 2600v2系列cpu，内存条插满。主要用来跑深度学习模型，在训练过程中经常会出现死机的现象，开启mcelog后有如下报错MCE 0MCE 0有那么几个令人在意的点，似乎是内存的问题，多方查找无法找到定位cpu12 bank9位置的方法，最后在chatgpt的帮助下找到如下指令在我电脑上运行后得*-memory*-bank:0。
内存控制器错误信息[备忘]
weixin_34233421的博客
03-02 1427
参考日志错误信息: [root@hh-yun-compute-130125 ~]# cat /var/log/messages | grep -i error Mar 1 04:58:05 hh-yun-compute-130125 kernel: sbridge: HANDLING MCE MEMORY ERROR Mar 1 04:58:06 ...
Linux服务器EDAC CE memory read error
LittleMagic's Blog
03-10 6552
之前在大数据集群中，有一台服务器的CPU占用总是莫名其妙飙高，就算执行简单任务也会耗费很长时间，且reboot不能解决问题。检查了各种可能的问题之后，最终在查看dmesg命令的设备信息时，发现大量如下的日志： ...... [1180532.573917] EDAC MC1: 128 CE memory read error on CPU_SrcID#1_Ha#0_Chan#1_D...
Linux中的mce问题
legend050709的专栏
07-05 5823
machine check 是什么？ machine check 是一种用来报告内部错误的一种硬件的方式。它包括 machine check exceptions 和 silent machine check。 其中，machine check exceptions(MCEs) 是在硬件不能纠正内部错误的时候发生，在这种情况下，通常会中断 CPU 当前正在运行的程序，并且调用一个特殊的异常处理程序。这种情况通常需要软件来进行处理，即 machine check excep...
Linux内存错误系统重启,linux服务器硬件报错，系统异常重启检测-MCElog
weixin_39807954的博客
05-07 1607
mcelog 是 x86 的 Linux 系统上用来检查硬件错误，特别是内存和CPU错误的工具。比如服务器隔一段时间莫名的重启一次，而message和syslog又检测不到有价值的信息。通常发生MCE报错的原因有如下：1、内存报错或者ECC问题2、处理器过热3、系统总线错误4、CPU或者硬件缓存错误一般来说当有错误提示时，需要优先注意内存问题，但由于现在内存控制器是集成在cpu里，所以有个别情况是...
intel mce错误源
05-23
MCE（Machine Check Exception）错误是指CPU检测到硬件错误并向操作系统报告的一种硬件错误。MCE错误通常由以下原因引起： 1. CPU或内存故障：可能是由于CPU或内存中的硬件问题导致的。这些问题可能包括损坏的内存模块、不良的CPU散热器或过热的CPU等。 2. 电源问题：MCE错误也可能由于电源问题引起，例如电源过压或电源电压不稳定。 3. 其他硬件问题：其他硬件问题，如主板故障、硬盘故障等也可能导致MCE错误。 如果您遇到MCE错误，建议您首先检查硬件是否正常。您可以运行一些硬件测试工具，如Memtest86+来测试内存，Prime95来测试CPU等。如果硬件测试没有问题，那么可能是操作系统的问题，您可以尝试更新操作系统或查找和修复操作系统中的问题。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值