学习笔记：如何理解神经网络中超参数learning rate、weight decay、momentum、Batch normalization、Learning Rate Decay及其各自的作用？

本文链接：https://blog.csdn.net/Charles5101/article/details/85236202

一、learning rate（学习率）

学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面4种参数都是基于自适应的思路提出的解决方案。后面4种参数分别为：Weight Decay 权值衰减，Momentum 动量、Batch Normalization 和 Learning Rate Decay 学习率衰减。

以下权值更新公式中， $% MathType!MTEF!2!1!+- % feaagKart1ev2aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLn % hiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr % 4rNCHbWexLMBbXgBd9gzLbvyNv2CaeHbl7mZLdGeaGqiVu0Je9sqqr % pepC0xbbL8F4rqqrFfpeea0xe9Lq-Jc9vqaqpepm0xbba9pwe9Q8fs % 0-yqaqpepae9pg0FirpepeKkFr0xfr-xfr-xb9adbaqaaeGaciGaai % aabeqaamaabaabauaakeaacqaH3oaAaaa!40CD! \[\eta \]$ $\eta$ 即为学习率。

$\omega_{i}\leftarrow \omega_{i} - \eta \frac{\partial E}{\partial \omega_{i}}$ $\omega_{i}\leftarrow m\cdot \omega_{i} - \eta \frac{\partial E}{\partial \omega_{i}}$

二、weight decay（权值衰减）

该项的作用是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损失函数的值也就大。

类似于统计学习中讲到的结构化风险最小化的思想，利用weight decay给损失函数加了个正则化项（regularizer）或惩罚项（penalty term），使得在常规损失函数值相同的情况下，学习算法更倾向于选择更简单（即权值和更小）的CNN模型。

在实际应用中，为了避免网络的过拟合，必须在原始价值函数（Cost function）后面加上一些正则项，如在SGD中加入 $\eta \lambda \omega _{i}$ 这一正则项对这个Cost function进行规范化：

$\omega_{i}\leftarrow \omega_{i} - \eta \frac{\partial E}{\partial \omega_{i}} - \eta \lambda \omega _{i}$

上面这个公式基本思想就是减小不重要的参数对最后结果的影响，网络中有用的权重则不会收到Weight decay影响。

三、momentum

梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为 $x \leftarrow x-\alpha \ast dx$ , 沿负梯度方向下降。而带momentum项的SGD则写生如下形式：
$v=\beta \ast v -a\ast dx\\$
$x \leftarrow x+v$
其中 $\beta$ 即momentum系数，通俗的理解上面式子就是，如果上一次的momentum（即）与这一次的负梯度方向是相同的，那这次下降的幅度就会加大，所以这样做能够达到加速收敛的过程。

四、Batch normalization。

如果我没有理解错的话，题主的意思应该是batch normalization吧。batch normalization的是指在神经网络中激活函数的前面，将 wx+b 按照特征进行normalization，这样做的好处有三点：
1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1]，这样在反向传播时候的梯度都是在1左右，避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。