caffe运行不停止_Caffe训练深度学习网络的暂停与继续

标签：

Caffe训练深度学习网络的暂停与继续

博主在训练Caffe模型的过程中，遇到了如何暂停训练并断点继续训练的问题。在此记录下有关这个问题的几种解决方案。更新于2018.10.27。

方法1：临时暂停

这种方法是用于临时暂停Caffe训练，暂停后可以以完全相同的配置从断点处继续训练。如果此时训练中记录了log文件，那么继续后，从log文件中完全看不出暂停的痕迹，是一份完整的记录。

但是，这样暂停后，虽然查看GPU的使用率为0，但仍然无法释放程序所占用的那一部分GPU，也就是说，无法暂停后训练另外的网络，或测试非常大的网络。且，此时的终端不能关闭。

命令

暂停：

Ctrl+z

开始：

fg

回车

方法2：停止训练，下次训练从记录的参数开始

这种暂停方法其实相当于多次训练，区别是，继续训练时，可以用之前暂停时得到的参数初始化网络。也就是说，这种暂停再开始后可以看成是对之前网络的finetune。为了实现这种继续训练的目的，需要在训练时编辑solver文件，设定snapshot，从而保证训练过程每隔一段间隔就会记录一次参数。

好处是，停止后，GPU完全释放，可以进行其他的操作。

标签：

来源： https://blog.csdn.net/ShuqiaoS/article/details/83419199