优化方法——梯度下降

假设目标函数为$J(\theta )$ ，则一阶偏导为${\nabla }_{\theta }J(\theta )$，$\eta$为迭代步长。

（1）批处理

Batch Gradient Descent
参数更新：$\theta =\theta -\eta {\nabla }_{\theta }J(\theta )$
由上式观察知，每进行一次参数更新，需要计算整个数据集的样本。因此，该方法存在以下不足：
（1）不适合大的数据集，因为每次更新需要重复扫描所有的样本，耗时；
（2）当陷入鞍点或较差的局部最优点时，梯度很难跑出来，因此可能难以保证每次得到的都是最优解。

（2）单样本处理

Stochastic Gradient Descent
参数更新：$\theta =\theta -\eta {\nabla }_{\theta }J(x^{(i)},y^{(i)};\theta )$
显然，每次更新只需要计算一个样本，但是因为样本的随机性，会导致梯度的更新产生较大的振荡。

（3）小批次样本处理

Mini-Batch Gradient Descent
参数更新：$\theta =\theta -\eta {\nabla }_{\theta }J(x^{(i:i+k)},y^{(i:i+k)};\theta )$

综上三种方法，它们主要包含下面两点不足：
（1）$\eta$选择困难，且固定。当$\eta$选择较大的时候，则靠近快收敛处时，容易跳过收敛点；当其较小时，梯度更新蛮，效率不高。
（2）这三种方法都易收敛到局部最优点。此外，在有些情况下，易陷入鞍点。

因此，基于以上不足，有人提出了一种基于动量的方法。

Momentum

该方法借鉴物理上的动量思想（所以说学科之间是相通的嘛>O<），通过累积之前的动量来加速当前的梯度。
首先，定义$m_t,m_{t-1}$：当前时刻的动量，之前累积的动量；$\mu$：动量因子，一般设为0.9
参数更新：
$m_t=\mu m_{t-1}+\eta {\nabla }_{\theta }J(\theta )$
${\theta }_t={\theta }_{t-1}-m_t$
该方法最大的优点就是抑制了动荡。
其有以下一些特点：
（1）参数最开始更新的时候，如果加上前一次参数更新值，当前后2次下降方向一致，乘上较大的$\mu$能够很好地加速，从而加快收敛；
（2）参数更新中期，可能会在局部最小值附近来回振荡，梯度趋向于0，$\mu$使得更新幅度增大，能够跳出陷阱，避免了陷入局部最优点和鞍点的问题；
（3）在梯度方向改变时，该方法能降低参数更新的速度，故而减小了振荡；在梯度方向相同的时候，该方法可以加快参数更新，加速收敛，提高效率。

PS：第一次写，不足之处，还请各位大神多指教…