Coursera Machine Learning 学习笔记（六）

- Gradient descent

       梯度下降算法是一个用来求得函数最小值的算法，这里我们将使用梯度下降算法来求出代价函数的最小值。

      

       梯度下降的思想是：开始的时候我们随机选择一个参数的组合并计算代价函数，之后我们寻找下一个能使得代价函数值下降最多的参数的组合。

      

       我们持续如此过程直到一个局部最小值（local minimum），由于我们并没有完全尝试完所有参数的组合，所以我们不能够确定我们得到的局部最小值是否为全局最小值（global minimum），而且选择不同的参数组合，我们可能会找到不同的局部最小值。

      

      

       对于梯度下降算法（Gradient descent algorithm）的公式：

      

       值得注意的是：alpha是学习率（learning rate），它决定了沿着代价函数下降程度最大的方向向下迈出的步子的大小。

      

       注：即使学习速率被固定，梯度下降也会收敛到局部最小点。而且，当我们接近局部最小值时，梯度下降将自动的缩小步幅，所以我们不需要随着时间的推移来缩小学习速率。

      

       在批量梯度下降中，我们每次都同时让所有的参数减去学习速率乘以代价函数的导数。