解决CentOS 7 df命令卡住问题

先说解决方法

• systemctl restart proc-sys-fs-binfmt_misc.automount，或
• 升级systemd版本，或
• 在systemd中mask掉（也就是无效化）automount。

再说问题

大数据集群中某几台机器执行df -h命令会hang住，没有任何输出，CTRL+C无效。
执行strace df命令，发现是卡在了/proc/sys/fs/binfmt_misc这里。

execve("/bin/df", ["df"], [/* 27 vars */]) = 0
brk(NULL)                               = 0x231c000
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fb17cc0b000
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
.....................
stat("/sys/kernel/config", {st_mode=S_IFDIR|0755, st_size=0, ...}) = 0
stat("/", {st_mode=S_IFDIR|0555, st_size=4096, ...}) = 0
stat("/usr", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0
stat("/proc/sys/fs/binfmt_misc",

执行mount | grep binfmt命令，得知这个挂载路径是属于systemd的。

systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=28,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)

执行systemctl list-units -all | grep binfmt，查看unit状态。

  proc-sys-fs-binfmt_misc.automount                                                                loaded    active   running   Arbitrary Executable File Formats File System Automount Point
  proc-sys-fs-binfmt_misc.mount                                                                    loaded    inactive dead      Arbitrary Executable File Formats File System
  systemd-binfmt.service                                                                           loaded    inactive dead      Set Up Additional Binary Formats

可见只有proc-sys-fs-binfmt_misc.automount是活着的，其他两个都死掉了。

稍微摸索一下

找到RedHat Bugzilla中报的一条bug：https://bugzilla.redhat.com/show_bug.cgi?id=1534701。
大意是说，在234版本之前的systemd中，proc-sys-fs-binfmt_misc.automount与proc-sys-fs-binfmt_misc.mount这两个unit之间存在竞争条件，所以内核会持续hold这个挂载点，任何其他进程如果试图取得这个挂载点，就会无限hang住。
那么systemd.automount是做什么的呢？这里有解释：https://www.freedesktop.org/software/systemd/man/systemd.automount.html。
执行了systemctl restart proc-sys-fs-binfmt_misc.automount命令之后，再用mount看一下，发现变成了：

systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=31,pgrp=1,timeout=0,minproto=5,maxproto=5,direct)

timeout从300变成了0。根据上面链接中TimeoutIdleSec项的解释，如果这个挂载点空闲超过timeout秒，那么systemd就会试图卸载它。很显然，在之前的配置中，/proc/sys/fs/binfmt_misc挂载点实际上已经不存在。重启之后，timeout为0，就没有超时设定了。