分析和排查系统故障

日志文件2-1

• 日志的功能 用于记录系统、程序运行中发生的各种事件 通过阅读日志，有助于诊断和解决系统故障

• 日志文件的分类 内核及系统日志 由系统服务rsyslog统一进行管理，日志格式基本相似 用户日志 记录系统用户登录及退出系统的相关信息 程序日志 由各种应用程序独立管理的日志文件，记录格式不统一

日志文件2-2

日志保存位置 默认位于：/var/log 目录下 主要日志文件介绍

 

内核及系统日志3-1

由系统服务 rsyslogd 统一管理 软件包：rsyslog-8.24.0-16.el7.x86_64 主要程序：/sbin/rsyslogd 配置文件：/etc/rsyslog.conf

内核及系统日志3-2

日志消息的级别 0 EMERG（紧急）：会导致主机系统不可用的情况 1 ALERT（警告）：必须马上采取措施解决的问题 2 CRIT（严重）：比较严重的情况 3 ERR（错误）：运行出现错误 4 WAGRNIN（提醒）：可能会影响系统功能的事件 5 NOTICE（注意）：不会影响系统但值得注意 6 INFO（信息）：一般信息 7 DEBUG（调试）：程序或系统调试信息等

内核及系统日志3-3

日志记录的一般格式

 

用户日志分析

保存了用户登录、退出系统等相关信息 /var/log/lastlog：最近的用户登录事件 /var/log/wtmp：用户登录、注销及系统开、关机事件 /var/run/utmp：当前登录的每个用户的详细信息 /var/log/secure：与用户验证相关的安全性事件 分析工具 users 、who、w、 last：用户最近登录情况 lastb：登录失败的用户记录

程序日志分析

由相应的应用程序独立进行管理 Web服务：/var/log/httpd/ access_log、error_log 代理服务：/var/log/squid/ access.log、cache.log、 FTP服务：/var/log/xferlog 分析工具 文本查看、grep过滤检索、Webmin管理套件中查看 awk、sed等文本过滤、格式化编辑工具 Webalizer、Awstats等专用日志分析工具

日志管理策略/搭建日志服务器

及时作好备份和归档 延长日志保存期限 控制日志访问权限 日志中可能会包含各类敏感信息，如账户、口令等 集中管理日志 将服务器的日志文件发到统一的日志文件服务器 便于日志信息的统一收集、整理和分析 杜绝日志信息的意外丢失、恶意篡改或删除

修复 GRUB 引导故障

故障原因 MBR 中的 GRUB 引导程序遭到破坏 grub.conf 文件丢失、引导配置有误 故障现象 系统引导停滞，显示“grub>” 提示符 解决思路 尝试手动输入引导命令 进入急救模式，重写或者从备份中恢复 grub.conf 向 MBR 扇区中重建 grub 程序

遗忘 root 用户密码

故障原因 遗忘 root 用户的密码 故障现象 无法进行需要 root 权限的管理操作 若没有其他可用帐号，将无法登录系统 解决思路 进入单用户模式，重设密码

修复文件系统

故障原因 非正常关机、突然断电、设备读写失误等 文件系统的超级块（super-block）信息被破坏 故障现象 无法向分区中读取或写入数据 启动后提示“Give root password for maintenance” 解决思路 根据提示输入 root 口令，进入修复状态 使用xfs_repair命令进行修复

磁盘资源耗尽故障

故障原因 磁盘空间已被大量的数据占满，空间耗尽 虽然还有可用空间，但文件数i节点耗尽 故障现象 无法写入新的文件，提示“… : 设备上没有空间” 部分程序无法运行，甚至系统无法启动 解决思路 清理磁盘空间，删除无用、冗余的文件 转移或删除占用大量 i 节点的琐碎文件 进入急救模式进行修复 为用户设置磁盘配额

检测磁盘坏道

故障原因 磁盘设备中存在坏道（逻辑的或物理的） 故障现象 读取磁盘中的数据时，磁盘设备发出异常声响。 访问磁盘中的某个文件时，反复读取且出错，提示文件损坏 对于新建立的分区无法完成格式化 系统使用该磁盘时频繁死机 解决思路 检测硬盘中是否存在坏道 修复硬盘，或更换新的硬盘