Caffe训练深度学习网络的暂停与继续

版权声明:如需转载请联系博主获取权限并标明出处 https://blog.csdn.net/ShuqiaoS/article/details/83419199

Caffe训练深度学习网络的暂停与继续

博主在训练Caffe模型的过程中,遇到了如何暂停训练并断点继续训练的问题。在此记录下有关这个问题的几种解决方案。更新于2018.10.27。

方法1:临时暂停

这种方法是用于临时暂停Caffe训练,暂停后可以以完全相同的配置从断点处继续训练。如果此时训练中记录了log文件,那么继续后,从log文件中完全看不出暂停的痕迹,是一份完整的记录。

但是,这样暂停后,虽然查看GPU的使用率为0,但仍然无法释放程序所占用的那一部分GPU,也就是说,无法暂停后训练另外的网络,或测试非常大的网络。且,此时的终端不能关闭。

命令

暂停:

Ctrl+z

开始:

fg
回车

方法2:停止训练,下次训练从记录的参数开始

这种暂停方法其实相当于多次训练,区别是,继续训练时,可以用之前暂停时得到的参数初始化网络。也就是说,这种暂停再开始后可以看成是对之前网络的finetune。为了实现这种继续训练的目的,需要在训练时编辑solver文件,设定snapshot,从而保证训练过程每隔一段间隔就会记录一次参数。

好处是,停止后,GPU完全释放,可以进行其他的操作。

展开阅读全文

没有更多推荐了,返回首页