优化器:快照集成 SNAPSHOT ENSEMBLES: TRAIN 1, GET M FOR FREE
出发点:当网络训练时,可能会收敛到不同的最小点。其中有好的和坏的最小点(差一点的)。尽管一般我们都是为了寻找全局最优点,但是其他的坏的最小点也可能包含很多信息。而我们就可以利用其中的信息优化我们的模型
做法:使用warm restart得到一个模型,其中再restart之前把模型存储好。进行多少次restart就能得到多少模型,最后把模型集成(即所有模型投票)
效果:有些微提升
优化器:快照集成 SNAPSHOT ENSEMBLES: TRAIN 1, GET M FOR FREE
出发点:当网络训练时,可能会收敛到不同的最小点。其中有好的和坏的最小点(差一点的)。尽管一般我们都是为了寻找全局最优点,但是其他的坏的最小点也可能包含很多信息。而我们就可以利用其中的信息优化我们的模型
做法:使用warm restart得到一个模型,其中再restart之前把模型存储好。进行多少次restart就能得到多少模型,最后把模型集成(即所有模型投票)
效果:有些微提升