理解mcelog如何工作

最新推荐文章于 2024-08-25 07:15:41 发布
最新推荐文章于 2024-08-25 07:15:41 发布
阅读量3.7k 收藏 9
点赞数 1
分类专栏： linux运维

前言

本文，带你了解几个问题？

本文重点，主要看案例2，带你很好的理解mcelog如何工作的？

  • mcelog的干什么的？
    • mcelog 是 x86 的 Linux 系统上用来 检查硬件错误，特别是内存和CPU错误的工具.
  • mcelog怎么运行的？这三种方式有什么优点？缺点？
    • 有三种运行的方式，cron，daemon，trigger
    • cron是最low的方式，会丢失，trigger是比较高级的方式，触发的。一般我们在el6.el7上都是用daemon的方式
  • 线上情况：el6,el7上怎么运行的？
    • el6上默认应该是使用cron，每小时运行一次，也可以使用daemon守护进程的方式（需要手动执行mcelog --daemon），默认日志打到/var/log/mcelog,和/var/log/message.
    • el7上默认使用mcelog.service启动的，相当于daemon守护进程的方式，但是，默认日志只打到和/var/log/message，然而默认/var/log/mcelog文件不存在，这个需要在启动命令种加上--logfile=/var/log/mcelog才可以。
  • 如何模拟硬件错误验证mcelog是否运行正常？
    • 有一个工具叫:mceinject ,mcetest,参见下文的案例2

mcelog简介

可纠正和不可纠正的硬件错误统称为机器检查异常 (MCE)。CPU 自身能够纠正错误，并通知底层操作系统与 CPU 或缓存有关的问题。CPU 本身还能从某些错误中恢复。Oracle Linux 可将 mcelog 用作机器检查的日志子系统。首先，必须使用以下命令在服务器上安装软件包。

yum install mcelog.x86_64
service mcelogd start
chkconfig mcelogd on

or
mcelog --daemon

or
systemctl restart mcelog.service

mcelog 是 x86 的 Linux 系统上用来 检查硬件错误，特别是内存和CPU错误的工具.

mcelog 软件包有工作方式,有使用cron的，也有使用守护进程的，，这个取决于你的操作系统版本。

/etc/cron.hourly/mcelog.cron 中的 cron 作业每小时检查 MCE 并将其保存到 /var/log/mcelog 中。由后台程序控制 mcelog 的方法更好一些，因为这样可以更快速地检测到硬件错误并立即记录下来，而不必等待 cron 作业运行。使用 mcelog 能检测到总线错误、内存错误和 CPU 缓存错误之类的错误，如果即将发生硬件故障，可以提前通知。

mcelog 能捕获两类错误：已纠正的 和未纠正的。已纠正的错误是由 CPU 处理的事件，可用来识别可能预测更大问题的趋势。

未纠正的错误是关键异常，如果 CPU 无法恢复，往往会导致系统上的内核错误。这会导致应用程序重置和中断。对于未纠正的错误，mcelog 捕获错误的能力取决于错误导致热重启还是硬重启。如果是热重启，信息会被 mcelog 捕获，恢复后可看到。硬重启会导致数据丢失，而且 mcelog 可能捕获不到该事件。

如下示例显示的 mcelog 错误消息显示了 CPU 1 上一个已纠正的错误：

Hardware event. This is not a software error.
MCE 0
CPU 1 BANK 2
ADDR 1234
TIME 1364535025 Fri Mar 29 01:30:25 2013 MCG status:
MCi status:
Corrected error
Error enabled
MCi_ADDR register valid
MCA: No Error
STATUS 9400000000000000 MCGSTATUS 0
MCGCAP c07 APICID 1 SOCKETID 0
CPUID Vendor Intel Family 6 Model 58

为了进行测试和故障排除，可以使用 mce-test 包生成假的硬件 MCE 事件并执行系统测试。

mce-test 软件包含丰富的默认测试，能模拟真实硬件故障，甚至会导致内核错误。需要执行几个配置步骤才能对系统进行此类测试。

首先，需要安装几个支持软件包才能在测试系统上配置 mce-test。使用以下命令：

yum install gcc.x86_64 gcc-c++.x86_64 flex.x86_64 dialog.x86_64 ras-utils.x86_64 git.x86_64

mcelog相关

What are Machine Check Exceptions (or MCE)?

A machine check exception is an error dedected by your system's processor. There are 2 major types of MCE errors, a notice or warning error, and a fatal execption. The warning will be logged by a "Machine Check Event logged" notice in your system logs, and can be later viewed via some Linux utilities. A fatal MCE will cause the machine to stop responding and the details of the MCE will be printed out to the system's console.

mcelog的启动方式

  1. cron,最老的方式，有确定，定时任务，会丢失一些
  2. daemon，el7上用这种
  3. trigger，高级一点的方式，触发的时候，看man mcelog

mcelog相关文件

/dev/mcelog 设备文件

/var/log/mcelog messages日志文件

/etc/mcelog/mcelog.conf配置文件

/var/run/mcelog.pid

默认故障日志只记录在/var/log/mcelog，并不记录到系统日志中。
如果需要在系统日志中也体现，需修改/etc/mcelog/mcelog.conf文件，将前面#去掉，并保存。

# log output options
# Log decoded machine checks in syslog (default stdout or syslog for daemon)
#syslog = yes
# Log decoded machine checks in syslog with error level
#syslog-error = yes
# Never log anything to syslog
#no-syslog = yes
# Append log output to logfile instead of stdout. Only when no syslog logging is active
#logfile = filename

el6的mcelog

el6运行mcelog的方式

在el6上mcelog使用cron来运行，安装mcelog会自动产生如下文件：

/etc/cron.hourly/mcelog.cron

默认配置 /etc/cron.hourly/mcelog.cron 每小时执行一次。
这个定时脚本是软件包 mcelog安装的，这个工具mcelog目前仍在持续开发维护，可以从内核工具 或GitHub andikleen/mcelog 获得。

#ps aux | grep mcelog
root       4177  0.0  0.0   6756   616 ?        Ss   Aug18   0:00 /usr/sbin/mcelog --daemon

el6手动运行mcelog的方式

# mcelog --daemon

el6上查看mcelog日志

#tail /var/log/mcelog

什么也没有说明，正常。

查看mcelog守护进程是否检测到错误信息

# mcelog --client

没有输出，表示正常。

解析系统异常时的mcelog输出：

# mcelog --ascii < file.log
or:
# mcelog --ascii --file file.log

案例1:完全看不懂

mcelog --ascii --file /var/log/mcelog |tail 和sudo tail /var/log/mcelog看到的结果是一样的。

[ahao.mah@DNSServer3.og37 /home/ahao.mah]
$mcelog --ascii --file /var/log/mcelog |tail
mcelog: Cannot open /dev/mem for DMI decoding: Permission denied
MCA: MEMORY CONTROLLER MS_CHANNEL2_ERR
Transaction: Memory scrubbing error
STATUS cc000140000800c2 MCGSTATUS 0
MCGCAP 1000c19 APICID 0 SOCKETID 0
Hardware event. This is not a software error.
CPU 0 BANK 0
MISC 0 ADDR 0
STATUS cc000140000800c2 MCGSTATUS 0
MCGCAP 1000c19 APICID 0 SOCKETID 0
(Fields were incomplete)
[ahao.mah@DNSServer3.og37 /home/ahao.mah]
$sudo tail /var/log/mcelog
MCi status:
Error overflow
Corrected error
MCi_MISC register valid
MCi_ADDR register valid
MCA: MEMORY CONTROLLER MS_CHANNEL2_ERR
Transaction: Memory scrubbing error
STATUS cc000140000800c2 MCGSTATUS 0
MCGCAP 1000c19 APICID 0 SOCKETID 0
CPUID Vendor Intel Family 6 Model 62

[ahao.mah@DNSServer3.og37 /home/ahao.mah]
$sudo mcelog --client
Memory errors
SOCKET 0 CHANNEL any DIMM any
corrected memory errors:
        13 total
        0 in 24h
uncorrected memory errors:
        0 total
        0 in 24h

SOCKET 0 CHANNEL 2 DIMM any
corrected memory errors:
        4 total
        4 in 24h
uncorrected memory errors:
        0 total
        0 in 24h
Per page corrected memory statistics:
198f0b2000: total 1 seen "1 in 24h" online

198f0b9000: total 1 seen "1 in 24h" online

1b8f0b5000: total 1 seen "1 in 24h" online

1b8f0be000: total 1 seen "1 in 24h" online

el7的mcelog

el7运行mcelog

  • 默认开机启动：mcelog.service
#systemctl is-enabled mcelog.service
enabled
  • 在el7不是使用cron运行mcelog，用mcelog.service管理
#systemctl cat mcelog.service
# /usr/lib/systemd/system/mcelog.service
[Unit]
Description=Machine Check Exception Logging Daemon
After=syslog.target

# FIXME - due to upstream kernel bug always start the mcelog process
# twice using the following ExecStartPre hack. This needs fixing.
# There is a bug filed against systemd for the ExecStartPre bit
# since it is not possible to specify that the ExecStarPre bit
# is allowed and expected to fail without aborting the daemon.

[Service]
Type=forking
ExecStartPre=/etc/mcelog/mcelog.setup
ExecStart=/usr/sbin/mcelog --ignorenodev --daemon --syslog
StandardOutput=syslog

[Install]
WantedBy=multi-user.target

在RHEL 7.x平台，已经舍弃了使用cron方式运行mcelog程序的方法，而改为系统启动时运行mcelog.service服务进程。使用ps命令可以检查到系统运行了如下mcelog服务

/usr/sbin/mcelog --ignorenodev --daemon --syslog
--ignorenodev       Exit silently when the device cannot be opened
--daemon            Run in background waiting for events (needs newer kernel)
--syslog            Log decoded machine checks in syslog (default stdout or syslog for daemon)

el7上查看mcelog日志

mcelog的相关配置

#grep MCE /boot/config-2.6.32-220.23.2.ali878.el6.x86_64
CONFIG_X86_MCE=y
CONFIG_X86_MCE_INTEL=y
CONFIG_X86_MCE_AMD=y
CONFIG_X86_MCE_THRESHOLD=y
CONFIG_X86_MCE_INJECT=m
CONFIG_EDAC_DECODE_MCE=m
# CONFIG_EDAC_MCE_INJ is not set
CONFIG_EDAC_MCE=y

安全

__mcelog__需要使用root身份运行，因为它需要出发动作，如page-offlining，这要求CAP_SYS_ADMIN。并且它需要打开设备/dev/mcelog和一个用于支持客户端的unix socket。

当mcelog运行在daemon模式，它会监听在一个unix socket上并处理mcelog --client的请求。默认会检查请求的uid/gid并且默认是0/0，可配置。客户端处理和相应是由daemon的完整的特权处理的。

测试

mce-inject使用方法

mce-inject用于测试mcelog能否正确的获取硬件错误信息，并进行正确解码，mce-inject可以向内核注入指定的错误信息，因此，可以很方便的了解到mcelog的功能是否正常。
这里需要注意的是，当用户利用mce-inject工具向内核注入不可恢复错误（如：fatal）时，会发生死机重新启动等现象，当然，可以通过更改sys文件系统下的tolerate文件来避免此现象的发生。

安装mce-inject

#yum install -y ras-utils

tolerate文件配置

位置：/sys/devices/system/machinecheck/machinecheck*/

说明：其中machinecheck* 中的 *号由CPU的个数所决定的，如果是双核的，则存在machinecheck0和machinecheck1两个目录，对应目录里都有一个tolerate文件，tolerate中存放容忍程度值。
功能：向用户提供一个可选择的出现相应硬件错误时的容忍程度（tolerate），比如：当tolerate的值为1时，出现fatal错误时就会死机，重新启动，并且该错误信息并不被记录；当tolerate的值为3时（注意该值只用于测试），在出现fatal错误时，机器会容忍该错误不予响应，不会出现死机重新启动现象，并且会记录相关错误信息。

查看tolerate

以root身份进入相应的目录进行查看即可。如：

#cd  /sys/devices/system/machinecheck/machinecheck0
#cat tolerate

查看CPU0的tolerate值。
设置tolerate
以root身份进入相应的目录进行修改即可，设置tolerate的方法很多，如：

#cd  /sys/devices/system/machinecheck/machinecheck0
#echo 3 > tolerant

数值含义

tolerate的取值可以为0、1、2、3。
0: always panic on uncorrected errors, log corrected errors
1: panic or SIGBUS on uncorrected errors, log corrected errors
2: SIGBUS or log uncorrected errors (if possible), log corrected errors
3: never panic or SIGBUS, log all errors (for testing only)

案例2:mce-inject使用

mce-inject的使用方法也很简单，不过在使用前要现将tolerate的值修改为3，以防止死机重启事件发生，然后，在终端以root身份执行：
mce-inject filename ...
filename 存放要注入的具体错误类型

1. 安装

yum install gcc.x86_64 gcc-c++.x86_64 flex.x86_64 dialog.x86_64 ras-utils.x86_64 git.x86_64

2. 捏造文件

例如，一个mce-filename文件correct的内容为：

#cat correct
CPU 1 BANK 2
STATUS corrected
RIP 0x12341234

3. 加载mce-inject模块

# modprobe mce-inject
#modprobe -l | grep mce-inject
kernel/arch/x86/kernel/cpu/mcheck/mce-inject.ko

4. 在终端输入

#mce-inject ./correct

即可成功注入，详细的输出结果可以查看/var/log/mcelog文件。

5. 查看/var/log/mcelog,/var/log/messages

#tail /var/log/mcelog
CPU 1 BANK 2
TIME 1475065726 Wed Sep 28 20:28:46 2016
MCG status:
MCi status:
Corrected error
Error enabled
MCA: No Error
STATUS 9000000000000000 MCGSTATUS 0
MCGCAP 1000c12 APICID 2 SOCKETID 0
CPUID Vendor Intel Family 6 Model 45
#cat /var/log/messages
Sep 28 20:41:24 dnstest08.tbc kernel: : [16423350.358386] Starting machine check poll CPU 1
Sep 28 20:41:24 dnstest08.tbc kernel: : [16423350.371252] [Hardware Error]: Machine check events logged

6.同样的方式，在el7上也可以看到

tail /var/log/messages 可以看到日志，但是，/var/log/mcelog文件默认在el7上，却不存在！！
原因是，默认打到/var/log/messages ，不打到/var/log/mcelog。如果希望打到/var/log/mcelog，需要在mcelog 的service文件中，加入参数--logfile=/var/log/mcelog，然后重启mcelog .

ExecStart=/usr/sbin/mcelog --ignorenodev --daemon --syslog --logfile=/var/log/mcelog
#tail /var/log/messages -f
Sep 28 20:57:53 jiangyi02 kernel: Starting machine check poll CPU 1
Sep 28 20:57:53 jiangyi02 kernel: Machine check poll done on CPU 1
Sep 28 20:57:53 jiangyi02 mcelog: Hardware event. This is not a software error.
Sep 28 20:57:53 jiangyi02 mcelog: MCE 0
Sep 28 20:57:53 jiangyi02 mcelog: CPU 1 BANK 2
Sep 28 20:57:53 jiangyi02 mcelog: TIME 1475067473 Wed Sep 28 20:57:53 2016
Sep 28 20:57:53 jiangyi02 mcelog: MCG status:
Sep 28 20:57:53 jiangyi02 mcelog: MCi status:
Sep 28 20:57:53 jiangyi02 mcelog: Corrected error
Sep 28 20:57:53 jiangyi02 mcelog: Error enabled
Sep 28 20:57:53 jiangyi02 mcelog: MCA: No Error
Sep 28 20:57:53 jiangyi02 mcelog: STATUS 9000000000000000 MCGSTATUS 0
Sep 28 20:57:53 jiangyi02 mcelog: MCGCAP 1000c12 APICID 2 SOCKETID 0
Sep 28 20:57:53 jiangyi02 mcelog: CPUID Vendor Intel Family 6 Model 45

可以通过文本文件提供输入的方式直接使用 mce-inject 可执行程序，但对于在系统上进行测试，功能更强的方法是使用 mce-test 程序。

#git clone https://github.com/andikleen/mce-test.git
Cloning into 'mce-test'...
remote: Counting objects: 2197, done.
remote: Total 2197 (delta 0), reused 0 (delta 0), pack-reused 2197
Receiving objects: 100% (2197/2197), 409.06 KiB | 57.00 KiB/s, done.
Resolving deltas: 100% (1220/1220), done.
Checking connectivity... done.

克隆 git 信息库之后，您就可以转到 mce-test 目录执行 mcemenu，这会转至 mce-test 工具主菜单

我们要做的第一件事是编译测试套件，所以选择 Compile 选项编译该测试套件要用到的所有可执行文件。然后可以从 Execute 菜单中执行测试。测试运行后，可以使用 Results 菜单查看测试结果。mce-test/doc 目录下的文档包含了有关测试以及如何根据需要充分利用该套件的所有信息。

相关链接

http://www.mcelog.org/

如何使用 Oracle Linux 中的硬件故障管理

AXW2013
关注
专栏目录
mcelog用法详解
aecuhty88306453的博客
02-14 2472
手动启动mcelog方法： # mcelog --daemon Runmcelogindaemonmode,waitingforerrorsfromthekernel. 后台服务启动mcelog： RHEL 7： systemctlstartmcelog systemctl enable mcelog RHEL ...
理解linux服务器mcelog如何工作
weixin_30875157的博客
05-18 1471
What are Machine Check Exceptions (or MCE)? A machine check exception is an error dedected by your system's processor. There are 2 major types of MCE errors, a notice or warning error, and a fatal ex...
Mcelog笔记
weijitao的博客
03-18 9916
    最近测试过程中panic并报如下错误：Kernel panic - not syncing: Timeout synchronizing machine check over CPUs经查找Linux内核代码是与mce相关的错误导致的系统panic。    收集mce的log信息，需要安装mcelog工具。Mcelog能够记录和统计运行在x86架构下的Linux OS的一些machine ...
mcelog 开源项目教程
最新发布
gitblog_01134的博客
08-25 397
mcelog 开源项目教程 mcelogLinux kernel machine check handling middleware项目地址:https://gitcode.com/gh_mirrors/mc/mcelog 项目介绍 mcelog 是一个用于 x86 Linux 系统上检查硬件错误的工具，特别是内存和 CPU 错误。它可以捕获总线错误、内存错误和 CPU 缓存错误等，并能区分已纠...
mcelog
cnbird's blog
10-19 1750
mcelog
Linux检查硬件错误工具—mcelog命令
热门推荐
yunweimao的博客
02-13 1万+
1、简介mcelog 是Linux 系统上用来检查硬件错误，特别是内存和CPU错误的工具。未纠正的错误是关键异常，如果 CPU 无法恢复，往往会导致系统上的内核错误。这会导致应用程序重置...
系统异常重启检测-mcelog
小陌成长之路
01-11 1万+
mcelog 是Linux 系统上用来检查硬件错误，特别是内存和CPU错误的工具。 比如服务器隔一段时间莫名的重启一次，而message和syslog又检测不到有价值的信息。 通常发生MCE报错的原因有如下： 1、内存报错或者ECC问题 2、处理器过热 3、系统总线错误 4、CPU或者硬件缓存错误 一般来说当有错误提示时，需要优先注意内存问题，但由于现在内存控制器是集成在cpu里，所
Machine check handling on Linux
读芯术
09-26 723
本文为文献简译。进攻大意参考，具体语法不保证正确。
RAID 5磁盘阵列部署（三）
LS19990712的博客
08-23 790
RAID 5 RAID 5 是一种存储性能、数据安全和存储成本兼顾的存储解决方案。 RAID 5可以理解为是RAID 0和RAID 1的折中方案。RAID 5可以为系统提供数据安全保障，但保障程度要比Mirror低而磁盘空间利用率要比Mirror高。RAID 5具有和RAID 0相近似的数据读取速度，只是多了一个奇偶校验信息，写入数据的速度比对单个磁盘进行写入操作稍慢。同时由于多个数据对应一个奇...
Linux 之旅 19：启动流程、模块管理与loader
梦幻天空
09-09 1375
Linux 之旅 19：启动流程、模块管理与loader 图源：pexels Linux启动流程分析 启动流程一览 通常操作系统的启动过程可以分为以下几个步骤： 加载BIOS以获取硬件信息并进行自检，这样就可以获取到第一个可启动设备。 读取并执行第一个可启动设备的MBR内的启动引导程序（grub2、spfdisk等）。 根据启动引导程序的设置加载Kernel，Kernel进行硬件检测并加载需要的驱动和模块。 Kernel启动Systemd进程，并且用default.target模式准备操作系统环境：
Linux--进程和计划任务管理 （程序，进程，线程之间关系，静态与动态查看进程方式，控制进程的方式，计划任务管理，crontab周期性任务设置，实例）
m0_47219942的博客
06-19 528
Linux--进程和计划任务管理（程序，进程，线程之间关系，静态与动态查看进程方式，控制进程的方式，计划任务管理，crontab周期性任务设置，实例）前言一：程序，进程，线程之间的关系1.1：进程概述1.2：程序概述1.3：应用程序，进程和线程的关系1.4：程序和进程的关系1.5：进程和线程的关系二：查看进程2.1：ps命令—查看静态的进程统计信息（Processes Statistic）2.2：top命令—动态查看2.2.1：top 命令2.3：pgrep 和 pstree—查看进程信息2.3.1：pgr
acpi新的错误报告接口apei的讲解资料
08-28
acpi新的错误报告借口apei的讲解资料
mcelog源码解析
大空天，小奔马
11-13 1076
mcelog 是 x86 的 Linux 系统上用来 检查硬件错误，特别是内存和CPU错误的开源工具。 官网：mcelog -- the linux hardware error daemon 一：错误触发流 二：源代码结构 1、主函数 2、process回调处理函数 process函数是处理核心，每当产生mce事件的时候，会运行process回调函数。主要工作是对mce异常解析、trigger、日志记录。 3、mce_filter错误位置计数和触发trigge
电脑显示服务器负载信息失败,线上服务mcelog负载异常分析处理流程
weixin_32445717的博客
08-05 1000
一、难题简述：Nginx网络服务器，HP，有沉余，在其中一台网络服务器mcelog负荷较为高，日志秒等级，早已危害了此网络服务器业务流程。tail -f /var/log/mcelog#留意看此信息是持续循环系统，留意看Transaction:MemoryscrubbingerrorMemCtrl:CorrectedpatrolscruberrorErroroverflowCorrect...
linux下java进程被杀掉原因排查
Angus
03-16 6839
问题描述：我的java进程被异常终止。没有任何的异常信息。也没看到系统异常。 我们可以从linux层面来排查一下问题。如果确定程序没有问题的话，有可能是linux层面的问题，也有可能是硬件方面的问题。 查看linux系统日志：内容情况 命令 dmesg 看到的问题： 通过使用上边的命令，我们看到了进程确实是被系统给kill掉了。而发生这个操作的原因是：内存错误。 0x4e7a1c8: Killing java:4295 due to hardware memory corr.
linux查询空间 死机,记录下测试服务器频繁死机问题解决
weixin_39611047的博客
05-09 854
问题测试服务器频繁死机，刚开始一周一次，后面应用服务启动就死机。服务器系统: CentOS 6.5内核版本：2.6.32-431.el6.x86_64服务器系统日志分析查看日志：/var/log/message ，下面是出错比较多的Dec 4 14:11:46 localhost abrtd: Init complete, entering main loopDec 4 14:11:53 l...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值