层旋转
在训练时,神经网络的每一层与其初始状态之间的余弦距离的变化,每一层的权值与初始权值之间的余弦距离越大,总能使得模型的最终泛化性能越好。层旋转易于检测和控制有利于超参数调优,层旋转可以提供统一的框架,从而解释学习率调优,权重衰减,学习率预热和自适应梯度方法对泛化和训练迅速的影响。
层旋转的优良特性
- 有一个与网络五官的最优状态
- 很容易监控,因为他取决于网络权重的变化,所以在最优化的过程中,层旋转可以通过适当的权值更新规则得到控制
- 它提供了一个最优的统一的框架解释学习率调优,权值衰减,学习率预热,以及自适应梯度方法对于泛化和训练速度的影响。
解释层旋转
层旋转并不影响模型学习那些特征,而是影响训练过程中,这些特征被学习的程度。既然层旋转反应的是特征被学习的程度,那么越抽象越高级的特征,那么泛化性能就越好。