深度学习训练中,不仅要注意显卡内存(Memory-Usage)的使用情况,还要注意GPU利用率(Volatile GPU-Util)问题。
GPU利用率总是0,训练是不合理的,说明数据处理占用了非常多的时间。
具体方案见:深度学习PyTorch,TensorFlow中GPU利用率较低,CPU利用率很低,且模型训练速度很慢的问题总结与分析
深度学习训练中,不仅要注意显卡内存(Memory-Usage)的使用情况,还要注意GPU利用率(Volatile GPU-Util)问题。
GPU利用率总是0,训练是不合理的,说明数据处理占用了非常多的时间。
具体方案见:深度学习PyTorch,TensorFlow中GPU利用率较低,CPU利用率很低,且模型训练速度很慢的问题总结与分析