linux故障处理
屏显大量如下关键字段
hard resetting link----
softreset failed (device not ready)----
failed command: READ FPDMA QUEUED----
环境:
内核5.4.44-2
Linux pve 5.4.44-2-pve #1 SMP PVE 5.4.44-2 (Wed, 01 Jul 2020 16:37:57 +0200) x86_64 GNU/Linux
系统
cat /etc/debian_version
10.5
处理:
远程接入控制台,dmesg,回显自开机后推送屏显所有内容。
[10460.099917] ata1.00: failed command: READ FPDMA QUEUED
[10460.099971] ata1.00: cmd 60/00:50:00:38:80/01:00:3e:00:00/40 tag 10 ncq dma 131072 in
一眼望去就看这不正常。
NCQ 关键字怎么有种熟悉的感觉!!!
一查没错,硬盘高级特性(还是要膜拜科研人员的!)。
硬件环境采用
系统sdb—SSDmstat128G
数据sda—SSDstat1TB
root@pve:~# cat /proc/scsi/scsi
Attached devices:
Host: scsi0 Channel: 00 Id: 00 Lun: 00
Vendor: ATA Model: Teclast 1TB A850 Rev: 120
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi1 Channel: 00 Id: 00 Lun: 00
Vendor: ATA Model: Lenovo SSD ST600 Rev: 5G
Type: Direct-Access
试问这机械盘的技术,怎么在我这固态盘上报错。
本着做技术,求根本。闲来深入一下。
翻阅三山五岳XXXXXXX
OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO
转正:
经过不同的信息分享,取得真经;
最终确定是因为链路不稳定造成。
root@pve:~# smartctl -a /dev/sda |grep -i crc
199 UDMA_CRC_Error_Count 0x0012 100 100 000 Old_age Always - 0
root@pve:~# smartctl -a /dev/sdb |grep -i crc
199 UDMA_CRC_Error_Count 0x0000 100 100 050 Old_age Offline - 1959
由于此操作系统带smart工具检查,进行双盘对比,确定最终问题点如上,数据传输CRC校验错误。(如系统无此命令,请自行采用编译或yum、apt安装)
https://ubuntuqa.com/article/7240.html
开源就是避免重复造轮子,此文章起到关键。谢!
由于确认是系统盘链路计数校验异常,但还不能停机。
又从其它文章了解,可能是内核对SSD支持不太好,NCQ 特性很系统有影响。
root@pve:~# cat /sys/block/sda/device/queue_depth
32
root@pve:~# cat /sys/block/sdb/device/queue_depth
1
root@pve:~#
执行关闭对应磁盘NCQ特性。原值都是32。
echo 1 > /sys/block/sdb/device/queue_depth
关于NCQ队列更多专业知识智者见智,自补。
上图HDtune 是在此sdb系统盘上,下发的VM,可以看到硬盘的高级特性传达到了vmsystem。
由于QEMU具有模拟硬件的能力,但看到TRIM指令,我就确信,是功能透传,不是模拟出的。因为参考CPU的指令集,真实CPU不支持的指令,虚拟机是模拟不出的。
固态的NCQ功能,不同的内核可能对此特性支持表现不一样。既然报错,就将其禁用吧,本着学习主力是由1TB盘承载的。
剩下的就是观察CRC传输可靠计数了。在此记录下当前值,下个停机时机清理接口。