我运行mxnet多线程训练时遇到的错误,同理我觉所有深度学习框架多线程训练遇到这个报错AF_UNIX path too long,基本上都是这个原因。
最近服务器出现空间不够用后,有同学将整个所有的container全都迁移到了另一个存储文件的文件服务器上,导致在container的一些操作要都以socket的方式从此文件服务器下载数据。在使用pytorch的DataLoader时,开启多线程后会报这个错误。经过查询,这个错误也会和python使用多线程时一起出现。刚开始报OSError: [Errno 16] Device or resource busy: ‘.nfs*’,如果忽略,到后面会报QSError: AF_UNIX path too long。
这个问题与linux和文件服务器有关,是由于文件服务器是无状态的,linux在删除文件时,如果有其它程序在使用这个文件时,会将此文件临时重命名为.nfs0000的文件。而将container迁移到文件服务器上时,将临时目录/tmp也一起迁移到了文件服务器上,因此临时缓存的文件也在文件服务器上,而不再我们操作的服务器上,又因为linux文件服务器是无状态的,因此会出现这个情况。
因为没有root权限,因此找了一个简单的办法来解决这个问题------另建一个临时文件目录,将临时文件路径设置到其上。mkdir -m 1777 /路径/tmp,创建目录,并赋予相应权限。
然后设置路径。此时在运行就不会报错了。
————————————————
版权声明:本文为CSDN博主「有点小傲慢」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_32224299/article/details/106684009
我的解决办法是把/tmp 改为 /tmp1, 然后新建一个/tmp。这时候你的docker容器肯定用不了,因为没了getNodeInfo.tmp 和 getTeyeInfo.tmp 要不把原来的复制过来,要不就重新建一个容器。
docker run --gpus all -p 5921:5901 -v /share_data/DATA1:/data_test -v /share_data/DATA2:/data -v /u02:/u02 -v /u01:/u01 -w /data_2/ZSY/ -itd --shm-size=8g --name ZSY_vnc 421d69acfa63