梯度下降优化算法总结

本次介绍梯度下降优化算法。主要参考资料为一篇综述《An overview of gradient descent optimization algorithms》

1. 引言

梯度下降 是一种目前相当火的优化算法，因为神经网络模型基本都依赖其训练。

绝大部分优化问题都可以转化为下面的问题：

给定一个与参数 \(\theta \) 有关的目标函数 \(J(\theta)\), 求使得 \(J\) 最小的参数 \(\theta \).

针对此类问题， 梯度下降通过不断往梯度的负方向移动参数来求解。

2. 梯度下降算法变种

梯度下降算法主要有三种变种，主要区别在于使用多少数据来计算目标函数的梯度。 不同方法主要在准确性和优化速度间做权衡。

2-1 Batch gradient descent (BGD)

Vanilla gradient descent 又称为 Batch gradient descent (BGD)，其需要计算整个训练集的梯度，即：

\(\theta = \theta -\eta \nabla_{\theta}J(\theta)\) ,其中 \(\eta\) 为学习率，用来控制更新的“力度”。

优点：

对于凸目标函数，可以保证全局最优； 对于非凸目标函数，可以保证一个局部最优。

缺点：

速度慢; 数据量大时不可行; 无法在线优化(即无法处理动态产生的新样本)。

2-2 Stochastic gradient descent (SGD)

Stochastic gradient descent (SGD)，仅计算某个样本的梯度，即针对某一个训练样本 \(x^i\) 及其label \(y^i\)更新参数：

\(\theta = \theta -\eta \nabla_{\theta}J(\theta;x^i,y^i)\)

逐步减小学习率，SGD表现得同BGD很相似，最后都可以有不错的收敛。

优点：

更新频次快，优化速度更快; 可以在线优化(可以无法处理动态产生的新样本)；一定的随机性导致有几率跳出局部最优(随机性来自于用一个样本的梯度去代替整体样本的梯度)

缺点：

随机性可能导致收敛复杂化，即使到达最优点仍然会进行过度优化，因此SGD得优化过程相比BGD充满动荡；

2-3 Mini-batch gradient descent (MBGD)

Mini-batch gradient descent (MBGD) 计算包含\(n\) 个样本的mini-batch的梯度：

\(\theta = \theta -\eta \nabla_{\theta}J(\the