了解导致Linux硬件出现故障的原因,以便可以快速恢复并运行。
Linux服务器在许多不同类型的基础架构中运行任务关键型业务应用程序,包括物理机,虚拟化,私有云,公共云和混合云。对于Linux系统管理员来说,了解如何管理Linux硬件基础架构非常重要,包括与Linux服务器上的网络,存储,Linux容器和多个工具相关的软件定义功能。
在Linux上排除故障并解决与硬件相关的问题可能需要一些时间。即使是经验丰富的系统管理员有时也会花费数小时来解决神秘的硬件和软件差异。
以下提示可以更快,更轻松地对Linux中的硬件进行故障排除。许多不同的东西都可能导致Linux硬件出现问题; 在开始尝试诊断它们之前,了解最常见的问题以及最有可能找到它们的地方是明智之举。
一、快速诊断设备,模块和驱动程序
故障排除的第一步通常是显示Linux服务器上安装的硬件列表。可以使用ls命令获取有关硬件的详细信息,例如lspci,lsblk,lscpu和lsscsi。例如,这是lsblk命令的输出:# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
xvda 202:0 0 50G 0 disk
├─xvda1 202:1 0 1M 0 part
└─xvda2 202:2 0 50G 0 part /
xvdb 202:16 0 20G 0 disk
└─xvdb1 202:17 0 20G 0 part
如果ls命令未显示任何错误,请使用init进程(例如,systemd)查看Linux服务器的工作方式。systemd是用于引导用户空间和控制多个系统进程的最流行的init进程。 例如,这是systemctl status命令的输出:
# systemctl status
● bastion.f347.internal
State: running
Jobs: 0 queued
Failed: 0 units
Since: Wed 2018-11-28 01:29:05 UTC; 2 days ago
CGroup: /
├─1 /usr/lib/systemd/systemd --switched-root --system --deserialize 21
├─kubepods.slice
│ ├─kubepods-pod3881728a_f2af_11e8_af77_06af52f87498.slice
│ │ ├─docker-88b27385f4bae77bba834fbd60a61d19026bae13d18eb147783ae27819c34967.scope
│ │ │ └─23860 /opt/bridge/bin/bridge --public-dir=/opt/bridge/static --config=/var/console-config/console-c
│ │ └─docker-a4433f0d523c7e5bc772ee4db1861e4fa56c4e63a2d48f6bc831458c2ce9fd2d.scope
│ │ └─23639 /usr/bin/pod
....
二、挖掘多个日志问题
Dmesg允许在内核的最新消息中找出错误和警告。例如,这是dmesg | more命令的输出结果:# dmesg | more
....
[ 1539.027419] IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready
[ 1539.042726] IPv6: ADDRCONF(NETDEV_UP): veth61f37018: link is not ready
[ 1539.048706] IPv6: ADDRCONF(NETDEV_CHANGE): veth61f37018: link becomes ready
[ 1539.055034] IPv6: ADDRCONF(NETDEV_CHANGE): eth0: link becomes ready
[ 1539.098550] device veth61f37018 entered promiscuous mode
[ 1541.450207] device veth61f37018 left promiscuous mode
[ 1542.493266] SELinux: mount invalid. Same superblock, different security settings for (dev mqueue, type mqueue)
[ 9965.292788] SELinux: mount invalid. Same superblock, different security settings for (dev mqueue, type mqueue)
[ 9965.449401] IPv6: ADDRCONF(NETDEV_UP): eth0: link is not ready
[ 9965.462738] IPv6: ADDRCONF(NETDEV_UP): vetheacc333c: link is not ready
[ 9965.468942] IPv6: ADDRCONF(NETDEV_CHANGE): vetheacc333c: link becomes ready
....
还可以查看/var/log/messages文件中的所有Linux系统日志,可以在该文件中找到与特定问题相关的错误。当修改硬件时,例如安装额外的磁盘或添加以太网网络接口,通过tail命令实时监控消息是值得的。 例如,这里是tail -f /var/log/messages 命令的输出结果:# tail -f /var/log/messages
Dec 1 13:20:33 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain in-addr.arpa
Dec 1 13:20:33 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain cluster.local
Dec 1 13:21:03 bastion dnsmasq[30201]: setting upstream servers from DBus
Dec 1 13:21:03 bastion dnsmasq[30201]: using nameserver 192.199.0.2#53
Dec 1 13:21:03 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain in-addr.arpa
Dec 1 13:21:03 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain cluster.local
Dec 1 13:21:33 bastion dnsmasq[30201]: setting upstream servers from DBus
Dec 1 13:21:33 bastion dnsmasq[30201]: using nameserver 192.199.0.2#53
Dec 1 13:21:33 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain in-addr.arpa
Dec 1 13:21:33 bastion dnsmasq[30201]: using nameserver 127.0.0.1#53 for domain cluster.local
三、分析网络功能
可能拥有数十万个云原生应用程序,以便在复杂的网络环境中提供业务服务; 这些可能包括虚拟化,多云和混合云。这意味着应该分析网络连接是否正常运行,作为故障排除的一部分。在Linux服务器中找出网络功能的有用命令包括ip addr,traceroute,nslookup,dig和ping等。 例如,这是ip addr show命令的输出结果:# ip addr show
1: lo: mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: mtu 9001 qdisc mq state UP group default qlen 1000
link/ether 06:af:52:f8:74:98 brd ff:ff:ff:ff:ff:ff
inet 192.199.0.169/24 brd 192.199.0.255 scope global noprefixroute dynamic eth0
valid_lft 3096sec preferred_lft 3096sec
inet6 fe80::4af:52ff:fef8:7498/64 scope link
valid_lft forever preferred_lft forever
3: docker0: mtu 1500 qdisc noqueue state DOWN group default
link/ether 02:42:67:fb:1a:a2 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.1/16 scope global docker0
valid_lft forever preferred_lft forever
inet6 fe80::42:67ff:fefb:1aa2/64 scope link
valid_lft forever preferred_lft forever
....
四、结论
Linux硬件故障排除需要相当多的知识,包括如何使用功能强大的命令行工具和计算出系统日志。还应该知道如何诊断内核空间,在这里可以找到许多硬件问题的根本原因。请记住,Linux中的硬件问题可能来自许多不同的来源,包括设备,模块,驱动程序,BIOS,网络,甚至是普通的旧硬件故障。