每日一篇小论文 ---- Weight Normalization

@每日一篇小论文----arXiv:1602.07868v3

Weight Normalization

我们提出权重归一化：神经网络中权重向量的重新参数化，将那些权重向量的长度与它们的方向分离。通过以这种方式重新参数化，我们改进了优化问题的条件，并加快了随机梯度下降的收敛速度。我们的重新参数化受到批量标准化的启发，但不会在批处理中的示例之间引入任何依赖关系。这意味着我们的方法也可以成功地应用于诸如LSTM之类的递归模型以及诸如深度强化学习或生成模型的噪声敏感应用，其中批量归一化不太适合。虽然我们的方法更简单，但它仍然提供了全批量标准化的大部分加速。此外，我们的方法的计算开销较低，允许在相同的时间内采取更多的优化步骤。我们证明了我们的方法在监督图像识别，生成建模和深度强化学习中的应用的有用性。

核心思想

对方向权重做归一化，并添加scalar,
即：$w=\frac{g}{||v||}v$

意义

减弱因数据集不平均，而对于权重产生的影响

参考程序

class _WNConv(convolutional_layers._Conv):
    def __init__(self,