k3s中新添加子节点遇到问题 “Failed to start cAdvisor“ err=“inotify_add_watch /sys/fs/cgroup/blkio: no space left

错误信息如下：

"Failed to start cAdvisor" err="inotify_add_watch /sys/fs/cgroup/blkio: no space left on device" Aug 19 09:52:05 ai systemd[1]: k3s-agent.service: Main process exited, code=exited, status=1/FAILURE Aug 19 09:52:05 ai systemd[1]: k3s-agent.service: Failed with result 'exit-code'.

分析：从错误信息 "Failed to start cAdvisor" err="inotify_add_watch /sys/fs/cgroup/blkio: no space left on device" 来看，cAdvisor 在启动时遇到了问题，具体原因是 inotify_add_watch 调用失败，错误信息指示 “no space left on device”。这个错误通常是由于系统的 inotify 监视器数量达到限制引起的。

inotify 监视器限制

inotify 是 Linux 内核的一个特性，用于监视文件系统事件。每个 inotify 监视器有一个限制，即系统可以同时监视的文件和目录的数量是有限的。当这个限制被达到时，就会出现类似的错误。

解决方法

1、检查 inotify 资源使用情况：

可以通过以下命令检查当前系统 inotify 资源的使用情况：

cat /proc/sys/fs/inotify/max_user_watches

2、增加 inotify 资源限制

如果发现当前的限制过低，可以增加 inotify 资源限制。修改 /etc/sysctl.conf 文件，添加或修改以下行：

fs.inotify.max_user_watches=1048576

然后应用这些更改：

sudo sysctl -p

3、检查系统的 inotify 使用情况：

你可以使用以下命令来查看当前 inotify 监视器的使用情况：

find /proc/sys/fs/inotify -type f -exec cat {} \;

4、重启 K3s Agent 服务：

在调整 inotify 资源限制后，重启 K3s Agent 服务以应用更改：

 systemctl restart k3s-agent

5、监控系统资源：

确保系统没有其他进程或服务过度使用 inotify 资源。可以监控系统的文件描述符使用情况：

lsof | grep inotify

小结

以上步骤应该能帮助您解决 cAdvisor 启动时遇到的 inotify_add_watch 相关错误。