加速梯度下降的技巧

在用梯度下降的方法训练神经网络时，如果误差曲面本身并不是凸的，那么这个曲面可能包含许多独立于全局最小值的局部最小值，很有可能在局部最小值时训练就停止了，造成结果不佳。另外，即便我们的网络达到了全局最小值也有可能出现过拟合，不能保证模型有很好的泛化性能。下面介绍几种梯度下降的方法。

1.随机和小批量随机梯度下降

标准的梯度下降每次迭代更新所有的训练数据的子集，SGD是每一次迭代中使用每个样本更新一次权重，二mini-batch SGD将使用预定义的一部分样本更新一次权重，通常这部分样本远小于训练样本的总数。因为每次迭代中只使用一部分数据集，所以在训练过程中的计算量将会大大减少，我们的训练速度将会加快。同时，这样随机选取一部分数据集的方法使得优化过程中能够避免局部最小值，并且使用小部分数据集能够有效的防止过拟合，所以能够带来更好的表现。

2.正则

正则是通过向损失函数中增加一个表示模型复杂度的值来惩罚模型的复杂性来减少过拟合。在神经网络中，它惩罚较大的权重，因为这可能表明该网络对该权重对应的训练数据过拟合。
使用L2正则化我们可以重写损失函数，将原始神经网络的损失函数表示为L(y, t)，正则化常数表示为$\lambda$
 Lnew(y,t)=L(y,t)&