一、learning rate(学习率)
学习率决定了权值更新的速度,设置得太大会使结果超过最优值,太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率,因此后面4种参数都是基于自适应的思路提出的解决方案。后面4种参数分别为:Weight Decay 权值衰减,Momentum 动量、Batch Normalization 和 Learning Rate Decay 学习率衰减。
以下权值更新公式中, 即为学习率。
二、weight decay(权值衰减)
该项的作用是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。
类似于统计学习中讲到的结构化风险最小化的思想,利用weight decay给损失函数加了个正则化项(regularizer)或惩罚项(penalty term),使得在常规损失函数值相同的情况下,学习算法更倾向于选择更简单(即权值和更小)的CNN模型。
在实际应用中,为了避免网络的过拟合,必须在原始价值函数(Cost function)后面加上一些正则项,如在SGD中加入这一正则项对这个Cost function进行规范化:
上面这个公式基本思想就是减小不重要的参数对最后结果的影响,网络中有用的权重则不会收到Weight decay影响。
三、momentum
梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为,
沿负梯度方向下降。而带momentum项的SGD则写生如下形式:
其中即momentum系数,通俗的理解上面式子就是,如果上一次的momentum(即
)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
四、Batch normalization。
如果我没有理解错的话,题主的意思应该是batch normalization吧。batch normalization的是指在神经网络中激活函数的前面,将按照特征进行normalization,这样做的好处有三点:
1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
五、Learning Rate Decay
该方法是为了提高SGD寻优能力,具体就是每次迭代的时候减少学习率的大小。
另外附上网上某位大神给出的调参经验:
关于网络调参,那就是经验。提供的资料:链接:http://pan.baidu.com/s/1pLtqfhT 密码:tkgp
以上材料参考了知乎和博客很多大神的回答,如有错误请批评指正,谢谢!
参考文献: