WSL2 I/O很慢
虽然WSL2可以通过/mnt/c或者/mnt/d去访问windows系统下的文件,但是跨系统访问的代价有点高,会导致读写的速度很慢,因此在wsl2上跑代码经常会卡到I/O上面。
解决的方法有两个思路:
- 把文件直接复制到WSL2 中,缺点很明显:因为WSL2安装在C盘中,把数据集放到C盘中很容易占满C盘全部的空间。
- 创建虚拟磁盘,挂载到wsl2上面,把数据集code之类的代码都放在上面。
实际解决过程
参考:https://juejin.cn/post/7216965516878151736
创建VHDX虚拟文件
利用磁盘管理,创建VHDX虚拟文件,这里建议VHDX格式和动态扩展,为了追求更好的性能,笔者多次尝试创建VHD和固定大小,但均以失败告终。
使用DiskGenius格式化硬盘
建议为EXT4格式,1个分区。
挂载磁盘到wsl
- 以管理员权限打开powershell。
- 输入wmic diskdrive list brief 找到刚才创建的虚拟磁盘的DeviceID。
- 使用命令wsl --mount \.\PHYSICALDRIVE1 --partition 1 挂在磁盘到wsl,注意修改磁盘的ID和分区。挂载成功后,即可在/mnt/wsl中查看到挂载的磁盘,然后就可以把频繁访问的文件放入到该磁盘来加快wsl2访问的速度。
注意事项
- 挂载后的磁盘需要使用管理员权限才能在其中创建文件夹。
成功后效果立竿见影,之前训练代码一直卡在读取数据上,GPU和CPU的利用率根本起不来,采用上面的方法解决后,训练速度一下子就上来了。