【深度学习】踩坑记录：模型训练速度逐渐变慢

问题：

模型训练的速度越来越慢，到一定的进度时会直接卡死不再继续训练。

原因：

我简直百思不得其解，直到我搜到了这篇博客。作者提到自己的使用的tenserboard记录训练日志，造成了文件的频繁I/O操作，虽然我没有使用tenserboard，但是我用了wandb来可视化训练过程，在debug过程中使用了较多的print语句来输出张量维度，也会造成大量的文件I/O。

解决方案：

debug完一定要把print注释掉，保证清爽的训练过程，不然奇怪的训练速度降低的现象就会出现了。