解决CentOS 7 df命令卡住问题

解决办法：

systemctl restart proc-sys-fs-binfmt_misc.automount

或升级systemd版本，或在systemd中mask掉（也就是无效化）automount。

故障现象：

集群中某几台机器执行df -h命令会hang住，没有任何输出，CTRL+C无效。
执行strace df命令，发现是卡在了/proc/sys/fs/binfmt_misc这里。

execve("/bin/df", ["df"], [/* 27 vars */]) = 0
brk(NULL)                               = 0x231c000
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fb17cc0b000
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
.....................
stat("/sys/kernel/config", {st_mode=S_IFDIR|0755, st_size=0, ...}) = 0
stat("/", {st_mode=S_IFDIR|0555, st_size=4096, ...}) = 0
stat("/usr", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0
stat("/proc/sys/fs/binfmt_misc",

执行mount | grep binfmt命令，得知这个挂载路径是属于systemd的。

proc-sys-fs-binfmt_misc.automount                                                                loaded    active   running   Arbitrary Executable File Formats File System Automount Point
proc-sys-fs-binfmt_misc.mount                                                                    loaded    inactive dead      Arbitrary Executable File Formats File System
  systemd-binfmt.service                                                                           loaded    inactive dead      Set Up Additional Binary Formats

可见只有proc-sys-fs-binfmt_misc.automount是活着的，其他两个都死掉了。

深度探索

找到RedHat Bugzilla中报的一条bug：https://links.jianshu.com/go?to=https%3A%2F%2Fbugzilla.redhat.com%2Fshow_bug.cgi%3Fid%3D1534701大意是说，在234版本之前的systemd中，proc-sys-fs-binfmt_misc.automount与proc-sys-fs-binfmt_misc.mount这两个unit之间存在竞争条件，所以内核会持续hold这个挂载点，任何其他进程如果试图取得这个挂载点，就会无限hang住。
那么systemd.automount是做什么的呢？这里有解释：https://links.jianshu.com/go?to=https%3A%2F%2Fwww.freedesktop.org%2Fsoftware%2Fsystemd%2Fman%2Fsystemd.automount.html
执行了systemctl restart proc-sys-fs-binfmt_misc.automount命令之后，再用mount看一下，发现变成了：

systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=31,pgrp=1,timeout=0,minproto=5,maxproto=5,direct)

timeout从300变成了0。根据上面链接中TimeoutIdleSec项的解释，如果这个挂载点空闲超过timeout秒，那么systemd就会试图卸载它。很显然，在之前的配置中，/proc/sys/fs/binfmt_misc挂载点实际上已经不存在。重启之后，timeout为0，就没有超时设定了。