机器学习：随机梯度下降法

1.梯度下降

1）什么是梯度下降？

因为梯度下降是一种思想，没有严格的定义，所以用一个比喻来解释什么是梯度下降。

简单来说，梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是因为选择方向的原因，我们找到的的最低点可能不是真正的最低点。如图所示，黑线标注的路线所指的方向并不是真正的地方。

既然是选择一个方向下山，那么这个方向怎么选？每次该怎么走？

先说选方向，在算法中是以随机方式给出的，这也是造成有时候走不到真正最低点的原因。

如果选定了方向，以后每走一步，都是选择最陡的方向，直到最低点。

总结起来就一句话：随机选择一个方向，然后每次迈步都选择最陡的方向，直到这个方向上能达到的最低点。

2）梯度下降是用来做什么的?

在机器学习算法中,有时候需要对原始的模型构建损失函数,然后通过优化算法对损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小。而在求解机器学习参数的优化算法中，使用较多的就是基于梯度下降的优化算法(Gradient Descent, GD)。