机械硬盘(HDD)读取小文件速度慢,向实验室申请了一个固态硬盘(SSD)。想着这样子训练模型的时候不至于卡IO,训练速度也能够起来。
从网上查询了结果知道F2FS相对于其他的ext4,btrfs,xfs
等文件系统针对ssd
会更为友好一些,读写速度也更高一些。
所以就把硬盘格式化成F2FS系统。
就开始写入数据集文件,写到差不多接近末尾的时候突然提示空余空间不够,但是通过命令df -h
发现还剩余75%的空间,这就怪了,最后通过 df -i
发现是inode
满了。
这时候准备把inode
提高一点,但是发现mkfs.f2fs
没有像其他文件系统一样提供有指令可以修改,最后把文件系统改到了ext4
解决了问题。
最后通过下面命令
# ssd在 /dev/sda1
# 准备挂载在 /mnt/ssd
sudo umount /mnt/ssd
sudo mkfs.ext4 /dev/sda1 -N 60000000
# 修改 fstab 自动挂载 sudo vim /etc/fstab
/dev/sda1 /mnt/ssd ext4 noatime 0 1
# reboot 重启
把文件系统改到了 ext4 并且把inode
扩大为原来的六倍。
最后解决问题。