linux系统故障及修复

日志文件分析
日志的功能
用于记录系统，程序运行中发生的各种事件
通过阅读日志，有助于诊断和解决系统故障
日志文件的分类
内核及系统日志：由系统服务syslog统一进行管理，日志格式基本相似
用户日志：记录系统用户登录及退出系统的相关信息
程序日志：由各种应用程序独立管理的日志文件，记录格式不统一
日志保存位置
默认位于：/var/log目录下
主要日志文件介绍
内核及公共消息日志：/var/log/message
计划任务日志：/var/log/cron
系统引导日志：/var/log/dmesg
邮件系统日志：/var/log/maillog
用户登录日志：/var/log/secure /var/log/lastlog /var/log/wtmp /var/run/btmp
内核及系统日志
日志消息级别
0 EMERG（紧急）：会导致主机系统不可用的情况
1 ALERT（警告）：必须马上采取措施解决的问题
2 CRIT（严重）：比较严重的情况
3 ERR（错误）：运行出现错误
4 WARNING（提醒）：可能会影响系统功能的事件
5 NOTICE（注意）：不会影响系统但值得注意
6 INFO（信息）：一般信息
7 DEBUG（调试）：程序或系统调试信息等
用户日志分析
保存了用户登录，退出系统等相关信息
/var/log/lastlog：最近的用户登录事件
/var/log/wtmp：用户登录，注销及系统开，关机事件
/var/run/utmp:当前登录的每个用户的详细信息
/var/log/secure:与用户验证相关的安全性事件
分析工具
Users，who，w，last，lastb
程序日志分析
由相应的应用程序独立进行管理
Web服务：/var/log/httpd/
access_log，error_log
代理服务：/var/log/squid/
access.log，cache.log，squid.out，store.log
FTP服务：/var/log/xferlog
分析工具
文本查看，grep过滤检索，webmin管理套件中查看
awk，sed等文本过滤，格式化编辑工具
webalizr，awstats等转用日志分析工具
日志管理策略
及时作好备份和归档
延长日志保存期限
控制日志访问权限
日志可能会包含各类敏感信息，如账户，口令等
集中管理日志
将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集，整理和分析
杜绝日志信息的意外丢失，恶意篡改或删除
修复MBR扇区故障
故障原因
病毒，木马等造成的破坏
不正确的分区操作，磁盘读写误操作
故障现象
找不到引导程序，启动中断
无法加载操作系统，开机后黑屏
解决思路
应提前作好备份文件
以RHEL 6 安装光盘引导进入急救模式
从备份文件中恢复
应用示例
1. 备份MBR扇区数据dd if=/dev/sda of=/data/sda.mbr.bak bs=512 count=1
2. 模拟MBR扇区故障dd if=/dev/zero of=/dev/sda bs=512 count=1

重启，系统无法启动
3. RHEL 6光盘引导，进入急救模式，按提示操作
把系统光盘放入光驱，重启Linux系统（此时进不去系统）。
系统启动时按“F2”键(一般自动启动光盘系统界面)，选择进入Rescue installed system “急救模式”引导光盘中的Linux系统。
之后依次按回车键接收默认的语言、键盘格式，提示是否配置网卡是一般选择“NO”，然后系统会自动查找硬盘中的Linux分区并尝试将其挂载到“/mnt/sysimage”目录（选择“Continue”确认并继续）。
然后一路ok，最后选择“OK”确认后将进入到带“bash-4.1#”提示符的Bash Shell环境。
4. 从备份文件中恢复MBR扇区

mkdir /mymbr
mount /dev/sdb1 / mymbr
dd if=/ mymbr /sda.mbr.bak of=/dev/sda bs=512 count=1
reboot
修复GRUB引导故障
故障原因
MBR中的GRUB引导程序遭到破坏
grub.conf文件丢失，引导配置有误
故障现象
系统引导停滞，显示“grub>”提示符
解决思路
尝试手动输入引导命令
进入急救模式，重写或者从备份中恢复grub.conf
向MBR扇区中重建grub程序
gurp.conf文件：

应用示例1
在“grub>”提示符后，手动输入引导命令
grub>root (hd0,0)对应/dev/sda1磁盘，从这块磁盘进行引导
grub>kernel /vmlinuz-2.6.32-431.el6.i686 ro root=UUID=1054d894-acc9-4647-84d3-8dcb95c612f8 rd_NO_LUKS KEYBOARDTYPE=pc KEYTABLE=us rd_NO_MD crashkernel=auto LANG=zh_CN.UTF-8 rd_NO_LVM rd_NO_DM rhgb quiet
grub> initrd /initramfs-2.6.32-431.el6.i686.img 缓存镜像文件
grub>boot
RHEL6.5系统中，查看GRUB配置文件grub.conf内容
成功进入系统后，恢复或重建grub.conf配置文件
应用示例2
进入急救模式，进入“bash-4.1#”的shell环境







（后面全部ok）
重写（或通过之前备份的文件恢复）grub.conf配置文件
Chroot /mnt/sysimage //切换到待修复的linux系统环境
Vim /boot/grub/grub.conf
Exit 退出chroot环境
Reboot //系统会自动重启
应用示例3
MBR扇区的引导程序损坏，重建grub.conf配置文件后仍然无法启动系统
在RHEL6救援模式shell环境重新安装grub引导程序
将grub引导程序重新安装到第1块硬盘的MBR扇区
Chroot /mnt/sysimage
Grub-install /dev/sda
Exit
Reboot
修复文件系统
非正常关机，突然断电，设备读写故障2等
文件系统的超级块（super-block）信息被破坏
故障现象
无法向分区中读取或写入数据
启动后提示“Give root password for maintenance”
解决思路
根据提示输入root口令，进入修复状态
使用fsck命令进行修复
应用示例
模拟对/dev/sdb1分区的破坏操作
Dd if=/dev/zero of-/dev/sdb1 bs=512 count=4
检查是否能挂载该分区
Mount/dev/sdb1 /mnt/
对/dev/sdb1分区进行修复
Fsck -y -t ext4 /dev/sdb1
再次挂载该分区
磁盘资源耗尽故障
故障原因
磁盘空间已被大量的数据沾满，空间耗尽
虽然还有可用空间 ，但文件数i节点耗尽
故障现象
无法写入新的文件，提示“…：设备上没有空间”
部分程序无法运行，甚至系统无法启动
解决思路
清理磁盘空间，删除无用，冗余的文件
转移或删除占用大量i节点的琐碎文件
进入单用户模式，急救模式进行修复
为用户设置磁盘配额
I节点耗尽故障
模拟i节点耗尽故障
新建ext4文件系统，挂载到/data目录下
编写并用行测试程序，耗尽/dev/sdb7/分区中所有可用的i节点

查到该分区中可用的剩余空间

修复i节点耗尽故障
查找确认分区中占用大量i节点的细小文件，并转移或删除
检测磁盘坏道
故障原因
磁盘设备中存在坏道（逻辑或物理的）
故障现象
读取磁盘中的数据时，磁盘设备发出异常声响
访问磁盘中的某个文件时，反复读取且出错，提示文件损坏
对于新建立的分区无法完成格式化
系统使用该磁盘时频繁死机
解决思路
检测硬盘中是否存在坏道：badblocks -sv /dev/sdb
修复硬盘，或更换新的硬盘