15天共读深度学习Day9

1.参数的更新

神经网络学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化。

除了SGD（stochastic gradient descent 随机梯度下降法）还有其他优化方法。

虽然SGD简单，并且容易实现，但是在解决某些问题时可能没有效率。SGD低效的根本原因是，梯度的方向没有指向最小值的方向。为了改正SGD的缺点，我们将用Momentum AdaGrad Adam三种方法来取代SGD

2.权重的初始值

在神经网络的学习中，权重的初始值特别重要。实际上，设定什么样的权重初始值，经常关系到神经网络的学习能否成功。

权值衰减（weight decay）就是一种以减小权重参数的值为目的进行学习的方法。通过减小权重参数的值来抑制过拟合的发生。

（1）权重初始值为标准差是0.01的高斯分布（std=0.01）

（2）Xavier初始值

（3）He初始值

 

3.Batch Normalization

Batch Norm有一下优点：

（1）可以使学习快速进行、增大学习率

（2）不那么依赖初始值

（3）抑制过拟合

Batch Norm的思路是调整各层的激活值分布使其拥有适当的广度。为此，要向神经网络中插入对数据分布进行正规化的层。

Batch Norm以进行学习时的mini-batch为单位，按mini-batch进行正规化。具体而言就是进行使数据分布的均值为0、方差为1的正规化。