内存故障分析

最新推荐文章于 2022-11-02 16:44:07 发布
最新推荐文章于 2022-11-02 16:44:07 发布
阅读量849 收藏 4
点赞数 1
文章标签： 硬件架构 python 数据库
原文链接：https://my.oschina.net/adailinux/blog/1837514
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

随着虚拟化，Redis,BDB内存数据库等应用的普及，现在越来越多的服务器配置了大容量内存，拿DELL的R620来说在配置双路CPU下，其24个内存插槽，支持的内存高达960GB。对于ECC,REG这些带有纠错功能的内存故障检测是一件很头疼的事情，出现故障，还是可以连续运行几个月甚至几年，但如果运气不好，随时都会挂掉，好在linux中提供了一个edac-utils 内存纠错诊断工具，可以用来检查服务器内存潜在的故障。

服务器的硬件架构

下面以CentOS为例，介绍下edac-utils 工具的使用。 在使用edac-utils 工具之前，需要先了解服务器的硬件架构，以DELL R620为例，(其它如HP DL360P G8，IBM X3650 M4 机型都使用了 E5-2600 系列CPU，C600 系列芯片组.大致相同) 其CPU内存控制器对应通道，内存槽关系，如下所示：

处理器0 (对应一个内存控制器)
通道0：内存插槽A1、A5 和A9
通道1：内存插槽A2、A6 和A10
通道2：内存插槽A3、A7 和A11
通道3：内存插槽A4、A8 和A12

处理器1 (对应一个内存控制器)
通道0：内存插槽B1、B5 和B9
通道1：内存插槽B2、B6 和B10
通道2：内存插槽B3、B7 和B11
通道3：内存插槽B4、B8 和B12

安装edac-utils工具

yum install -y libsysfs edac-utils

执行检测命令

通过检测命令可查看纠错提示信息：

[root@md1 ~]# edac-util -v
mc0: 0 Uncorrected Errors with no DIMM info
mc0: 0 Corrected Errors with no DIMM info
mc0: csrow0: 0 Uncorrected Errors
mc0: csrow0: CPU_SrcID#0_Ha#0_Chan#1_DIMM#0: 0 Corrected Errors
mc0: csrow0: CPU_SrcID#0_Ha#0_Chan#2_DIMM#0: 0 Corrected Errors
mc0: csrow0: CPU_SrcID#0_Ha#0_Chan#3_DIMM#0: 627 Corrected Errors
mc0: csrow1: 0 Uncorrected Errors
mc0: csrow1: CPU_SrcID#0_Ha#0_Chan#1_DIMM#1: 0 Corrected Errors
mc1: 0 Uncorrected Errors with no DIMM info
mc1: 0 Corrected Errors with no DIMM info
mc1: csrow0: 0 Uncorrected Errors
mc1: csrow0: CPU_SrcID#1_Ha#0_Chan#1_DIMM#0: 0 Corrected Errors
mc1: csrow0: CPU_SrcID#1_Ha#0_Chan#2_DIMM#0: 0 Corrected Errors
mc1: csrow0: CPU_SrcID#1_Ha#0_Chan#3_DIMM#0: 0 Corrected Errors
mc1: csrow1: 0 Uncorrected Errors
mc1: csrow1: CPU_SrcID#1_Ha#0_Chan#1_DIMM#1: 0 Corrected Errors

其中:

  • mc0 表示 表示内存控制器0,
  • CPU_Src_ID#0表示源CPU0 ,
  • Channel#0 表示通道0
  • DIMM#0 标示内存槽0，
  • Corrected Errors 代表已经纠错的次数，

内存对应关系

4x16关系
mc0: csrow0: CPU#0Channel#0_DIMM#0: 0 Corrected Errors 8a
mc0: csrow0: CPU#0Channel#1_DIMM#0: 0 Corrected Errors 5b
mc0: csrow0: CPU#0Channel#2_DIMM#0: 0 Corrected Errors 2c
mc0: csrow1: 0 Uncorrected Errors
mc0: csrow1: CPU#0Channel#0_DIMM#1: 1 Corrected Errors 7d
mc0: csrow1: CPU#0Channel#1_DIMM#1: 0 Corrected Errors 4e
mc0: csrow1: CPU#0Channel#2_DIMM#1: 0 Corrected Errors 1f
mc0: csrow2: 0 Uncorrected Errors
mc0: csrow2: CPU#0Channel#0_DIMM#2: 0 Corrected Errors 6G
mc0: csrow2: CPU#0Channel#1_DIMM#2: 0 Corrected Errors 3h

12条内存的对应关系
mc0: csrow0: CPU#0Channel#0_DIMM#0: A1
mc0: csrow0: CPU#0Channel#1_DIMM#0: A2
mc0: csrow0: CPU#0Channel#2_DIMM#0: A3
mc0: csrow1: CPU#0Channel#0_DIMM#1: A4
mc0: csrow1: CPU#0Channel#1_DIMM#1: A5
mc0: csrow1: CPU#0Channel#2_DIMM#1: A6

mc1: csrow0: CPU#1Channel#0_DIMM#0: B1
mc1: csrow0: CPU#1Channel#1_DIMM#0: B2
mc1: csrow0: CPU#1Channel#2_DIMM#0: B3
mc1: csrow1: CPU#1Channel#0_DIMM#1: B4
mc1: csrow1: CPU#1Channel#1_DIMM#1: B5
mc1: csrow1: CPU#1Channel#2_DIMM#1: B6

20条内存的对应关系
mc0: 0 Uncorrected Errors with no DIMM info
mc0: 0 Corrected Errors with no DIMM info
mc0: csrow0: 0 Uncorrected Errors
mc0: csrow0: CPU_SrcID#0_Ha#0_Chan#0_DIMM#0: 0 Corrected Errors A1
mc0: csrow0: CPU_SrcID#0_Ha#0_Chan#1_DIMM#0: 0 Corrected Errors B1
mc0: csrow0: CPU_SrcID#0_Ha#0_Chan#2_DIMM#0: 0 Corrected Errors C1
mc0: csrow0: CPU_SrcID#0_Ha#0_Chan#3_DIMM#0: 0 Corrected Errors D1
mc0: csrow1: 0 Uncorrected Errors
mc0: csrow1: CPU_SrcID#0_Ha#0_Chan#0_DIMM#1: 0 Corrected Errors A2
mc0: csrow1: CPU_SrcID#0_Ha#0_Chan#1_DIMM#1: 0 Corrected Errors B2
mc0: csrow1: CPU_SrcID#0_Ha#0_Chan#2_DIMM#1: 0 Corrected Errors C2
mc0: csrow1: CPU_SrcID#0_Ha#0_Chan#3_DIMM#1: 0 Corrected Errors D2
mc0: csrow2: 0 Uncorrected Errors
mc0: csrow2: CPU_SrcID#0_Ha#0_Chan#0_DIMM#2: 0 Corrected Errors A3
mc0: csrow2: CPU_SrcID#0_Ha#0_Chan#1_DIMM#2: 11 Corrected Errors B3
mc0: csrow2: CPU_SrcID#0_Ha#0_Chan#2_DIMM#2: 0 Corrected Errors C3
mc0: csrow2: CPU_SrcID#0_Ha#0_Chan#3_DIMM#2: 0 Corrected Errors D3
mc1: 0 Uncorrected Errors with no DIMM info
mc1: 0 Corrected Errors with no DIMM info
mc1: csrow0: 0 Uncorrected Errors
mc1: csrow0: CPU_SrcID#1_Ha#0_Chan#0_DIMM#0: 0 Corrected Errors 
mc1: csrow0: CPU_SrcID#1_Ha#0_Chan#1_DIMM#0: 0 Corrected Errors 
mc1: csrow0: CPU_SrcID#1_Ha#0_Chan#2_DIMM#0: 0 Corrected Errors
mc1: csrow0: CPU_SrcID#1_Ha#0_Chan#3_DIMM#0: 0 Corrected Errors
mc1: csrow1: 0 Uncorrected Errors
mc1: csrow1: CPU_SrcID#1_Ha#0_Chan#0_DIMM#1: 0 Corrected Errors
mc1: csrow1: CPU_SrcID#1_Ha#0_Chan#1_DIMM#1: 0 Corrected Errors
mc1: csrow1: CPU_SrcID#1_Ha#0_Chan#2_DIMM#1: 0 Corrected Errors
mc1: csrow1: CPU_SrcID#1_Ha#0_Chan#3_DIMM#1: 0 Corrected Errors

根据前面列出的CPU通 道和内存槽对应关系即可给edac-utils 返回的信息进行编号。 即可得出A4内存出现潜在故障，接下来联系供应商进行更换即可。

参考：
http://www.cokll.com/archives/14/
http://server.51cto.com/News-568227.htm 服务器常见故障的判断与维修

转载于:https://my.oschina.net/adailinux/blog/1837514

weixin_33695082
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux mcelog 运行,内存故障分析之MCElog
weixin_39725844的博客
05-08 1176
作为一个企业服务器管理员，面对服务器莫名宕机或者主动重启，历经折磨后判断为内存问题引起，可当看到内存多达几十条时，难道要单条测试？要真这样，估计领导也要废了你吧。有没方便有效的方法去速度定位那个DIMM槽内存或者在日常监测内存正常与否呢？下面介绍下linux系统下的监控方法--MCElog。What are Machine Check Exceptions (or MCE)?A machine c...
EDAC检查内存错误
撞强※非专业，更专注
06-11 6982
开启EDAC服务或加载EDAC内核模块后：   [root@node10 ssh]#grep"[0-9]" /sys/devices/system/edac/mc/mc*/csrow*/ch*_ce_count   /sys/devices/system/edac/mc/mc0/csrow2/ch0_ce_count:42457 /sys/devices/system/edac/mc/m
内存故障：CE error on CPU#0Channel#1_DIMM#1 (channel:1 slot:1 page:0x0 offset:0x0 grain:8 syndrom
weixin_50877409的博客
11-02 3327
EDAC MC0: 1 CE error on CPU#0Channel#1_DIMM#1 (channel:1 slot:1 page:0x0 offset:0x0 grain:8 syndrome:0x0)
使用edac工具来检测服务器内存故障.
weixin_30326515的博客
07-22 2048
随着虚拟化，Redis,BDB内存数据库等应用的普及，现在越来越多的服务器配置了大容量内存，拿DELL的R620来说在配置双路CPU下，其24个内存插槽，支持的内存高达960GB。对于ECC,REG这些带有纠错功能的内存故障检测是一件很头疼的事情，出现故障，还是可以连续运行几个月甚至几年，但如果运气不好，随时都会挂掉，好在linux中提供了一个edac-utils 内存纠错诊断工具，可以用来检查服...
linux内存条排查
热门推荐
数据之路
07-13 1万+
已发现2个内存错误，应用名称（kernel:）,日志内容(hangzhou-jishuan-DDS0248 kernel: sbridge: HANDLING MCE MEMORY ERROR hangzhou-jishuan-DDS0248 kernel: EDAC MC0: CE row 5, channel 0, label CPU_SrcID#0_Channel#3_DIMM#1:1 Un
服务器内存故障预测居然可以这样做！
vivo互联网技术
07-26 3031
。本文主要介绍EDAC（Error Detection And Correction）框架在内存预测方面的应用。首先介绍了EDAC应用的背景，接着是EDAC的原理介绍，然后通过EDAC安装——配置——测试过程详细的介绍了EDAC在vivo服务器上的应用，最后提出了内存预测使用EDAC的方案总结以及服务器RAS（Reliability, Availability and Serviceability）应用减小硬件故障对系统的影响的展望。...
内存故障分析大全.doc
09-15
　上述的1,2，3种故障都属于实实在在的硬件故障，我们可以通过替换排除法，查出故障元件，再对坏件进行维修或更换就能解决。对于第4种情况，我们遇到的最多，什么元件也没有损坏，就是二者接触不良造成的。
内存故障原因分析.docx
09-27
内存故障是计算机运行中常见的问题，可能导致电脑无法正常开机、运行不稳定、内存容量识别错误以及启动时出现错误信息。以下是对这些故障原因的详细分析和解决策略。 1. **电脑无法正常开机** 当按下主机按钮后，...
DDR内存故障中英文文献整理
最新发布
06-02
在故障分析和解决过程中，了解内存故障的英文术语也很重要。例如，"DRAM failure"指的是动态随机存取内存故障，"data corruption"表示数据损坏，"memory module"是内存模块，"voltage instability"则是电压不稳。...
edac-utils-0.16-16.el7.i686.rpm
12-01
离线安装包，亲测可用
edac-utils-开源
05-02
Linux内核EDAC驱动程序的用户空间助手
centos 检测内存故障
powrexly的博客
12-07 1009
安装edac-utils yum install -y libsysfs edac-utils 检测内存 edac-util -v
linux edac服务,linux – 内核：dmesg中的EDAC MC0垃圾邮件
weixin_39802784的博客
05-09 854
我在dmesg中有垃圾邮件,其中包含：kernel:EDAC MC0: UE page 0x0,offset 0x0,grain 1073741824,row 3,labels ":": i3200 UE知道什么是假的吗？这里是加载模块：# lsmod | grep edaci3200_edac 3330 0edac_core 46581 2...
CPU_SrcID#1_Channel#0_DIMM#0error(s): memory scrubbing on FATAL area OVERFLOW 求解
weixin_33884611的博客
11-12 2796
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 Sep2722:29:09athCompute77kernel:EDACMC1:CErow0,channel0,label"CPU_S...
Linux服务器EDAC CE memory read error
LittleMagic's Blog
03-10 6488
之前在大数据集群中，有一台服务器的CPU占用总是莫名其妙飙高，就算执行简单任务也会耗费很长时间，且reboot不能解决问题。检查了各种可能的问题之后，最终在查看dmesg命令的设备信息时，发现大量如下的日志： ...... [1180532.573917] EDAC MC1: 128 CE memory read error on CPU_SrcID#1_Ha#0_Chan#1_D...
linux 查看内存条信息,关于centos的linux系统下通过dmidecode命令查看内存条相关信息用于扩充相同配置...
weixin_33914777的博客
04-30 195
一、操作说明关于在centos的linux操作系统查看现有的内存条信息，可以购置相同型号频率配置内存条用于扩展，具体查看命令(“dmidecode | grep -A16 "Memory Device"”)如下[root@raid2t~]#dmidecode|grep-A16"MemoryDevice"@b@MemoryDevice@b@ArrayHandl...
内存控制器错误信息[备忘]
weixin_34233421的博客
03-02 1418
参考日志错误信息: [root@hh-yun-compute-130125 ~]# cat /var/log/messages | grep -i error Mar 1 04:58:05 hh-yun-compute-130125 kernel: sbridge: HANDLING MCE MEMORY ERROR Mar 1 04:58:06 ...
内存 ECC 校验错误
Terry Tsang
04-15 8344
目的 dmesg 中发现内存 ECC 校验错误 检测出有问题的内存位置 dmesg 信息 [ 4.745351] EDAC sbridge MC0: HANDLING MCE MEMORY ERROR [ 4.745359] EDAC sbridge MC0: HANDLING MCE MEMORY ERROR [ 5.746989] EDAC MC0: 27609 CE m...
内存故障分析与测试方法探讨
这份文档提供了全面的内存故障分析，涵盖了内存测试方法、市场趋势、价格变化以及内存芯片内部结构，同时还深入解析了各种内存故障类型，这对于硬件工程师、系统设计师和维护人员来说是一份宝贵的参考资料，可以帮助...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值