梯度下降算法

4.梯度下降
4.1什么是梯度下降？

梯度下降法的基本思想可以类比为一个下山的过程

假设这样一个场景:

一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。

因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。

具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，（同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走）。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。

梯度下降的基本过程就和下山的场景很类似。

首先，我们有一个可微分的函数。这个函数就代表着一座山。

我们的目标就是找到这个函数的最小值，也就是山底。

根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数值变化最快的方向。 所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。

4.2 梯度的概念

梯度是微积分中一个很重要的概念

在单变量函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率；

在多变量函数中，梯度就是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向；

这也就说明了我们为什么要千方百计是求取梯度！

4.3 梯度下降举例

• 1.单变量函数的梯度下降

  我们假设有一个单变量的函数 :J(θ) = θ2

  函数的微分:J、(θ) = 2θ

  初始化，起点为： θ0 = 1

  学习率：α = 0.4

  我们开始进行梯度下降的迭代计算过程:
  

如图，经过四次的运算，也就是走了四步，基本就抵达了函数的最低点，也就是山底

• 2.多变量函数的梯度下降

  我们假设有一个目标函数 ：:J(θ) = θ12 + θ22

  现在要通过梯度下降法计算这个函数的最小值。我们通过观察就能发现最小值其实就是 (0，0)点。但是接下 来，我们会从梯度下降算法开始一步步计算到这个最小值! 我们假设初始的起点为: θ0 = (1, 3)

  初始的学习率为:α = 0.1

  函数的梯度为:▽:J(θ) =< 2θ1 ,2θ2>

  进行多次迭代:
  

我们发现，已经基本靠近函数的最小值点

4.4 梯度下降的公式

1）a是什么含义？

a在梯度下降算法中被称作学习率或者步长，意味着我们可以通过a来控制每一步走的距离，以保证不要步子跨的太大，错过最低点，同时也不要走的太慢，导致效率很低。所以a的选择在梯度下降法中很重要。a不能太大也不能太小。

2）为什么梯度要乘以一个负号？

梯度前面加上一个负号，就意味着朝梯度相反的方向走。

所以有了梯度下降这样一个优化算法，回归就有了“自动学习”的能力

5.梯度下降和正规方程的对比

梯度下降	正规方程
需要选择学习率	不需要
需要迭代求解	一次运算得出
特征数量较大可以使用	需要计算方程，时间复杂度高O(n3)

6.算法选择依据

• 小规模数据

• 正规方程 : LinearRegression（不能解决拟合问题）

• 岭回归

• 大规模数据

• 梯度下降法：SGDRegressor

五、梯度下降法再次介绍
常见的梯度下降算法有：

• 全梯度下降算法(Full gradient descent）,
• 随机梯度下降算法（Stochastic gradient
  descent）,
• 小批量梯度下降算法（Mini-batch gradient descent）,
• 随机平均梯度下降算法（Stochastic
  average gradient descent）

1.全梯度下降算法（FG）
计算训练集所有样本误差，对其求和再取平均值作为目标函数。

权重向量沿梯度相反方向移动，从而使当前目标函数减少的最多。

因为在执行每次更新时，我们需要在整个数据集上计算所有的梯度，所以速度会很慢，同时，无法处理超出内存限制的数据集。

批梯度下降法同样也不能在线更新模型，即在运行的过程中，不能增加新的样本。

其是在整个训练数据集上计算损失函数关于参数 θ的梯度：

2.随机梯度下降法（SG）
由于FG每迭代更新一次权重都需要重新计算所有样本误差，而实际问题中经常有上亿的训练样本，故效率偏低，且容易陷入局部最优解，因此提出了随机梯度下降算法。

其每轮计算的目标函数不再是全体样本误差，而仅是单个样本误差，即每次只带入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，知道损失函数值停止下降或损失函数值小于某个可以容忍的阈值。

此过程简单，高效，通常可以较好地避免更新迭代收敛到局部最优解。其迭代形式为

其中，x(i)表示一条训练样本的特征值，y(i)表示一条训练样本的标签值

但是由于，SG每次只使用一个样本迭代，若遇上噪声则容易陷入局部最优解。

3.小批量梯度下降算法（mini-barch）
小批量梯度下降算法是FG和SG的这种方案，在一定程度上兼顾了以上两种方法的优点。

每次从训练样本集上随机抽取一个小样本集，在抽出来的小样本集上采用FG迭代更新权重。

被抽出的小样本集所含样本点的个数称为batch_size，通常设置为2的幂次方，更有利于GPU加速处理。

特别的，若batch_size=1，则变成了SG；若batch_size=n，则变成了FG.其迭代形式为

4.随机平均梯度下降算法（SAG）
在SG方法中，虽然避开了运算成本大的问题，但对于大数据训练而言，SG效果常不尽如人意，因为每一轮梯度更新都完全与上一轮的数据和梯度无关。

随机平均梯度算法客服了这个问题，在内存中为每一个样本都维护一个旧的梯度，随机选择第i个样本来更新此样本的梯度，其他样本的梯度保持不变，然后求得所有梯度的平均值，进而更新了参数。

如此，每一轮更新仅需计算一个样本的梯度，计算成本等同于SG，但收敛速度快得多。