吴恩达机器学习（五）梯度下降

1.梯度下降

梯度下降是很常用的算法，它不仅被用在线性回归上，还被广泛应用于机器学习的众多领域。我们将使用梯度下降法最小化其他函数，而不仅仅是最小化线性回归的代价函数J

让我们通过一些图片来看看梯度下降法是如何工作的：
假设试图让这个函数值最小化

我们从θ0和θ1的某个值出发，对θ0和θ1赋以某个初值，对应于从这个函数表面上的某个点出发，不管θ0、θ1的取值是多少，将它们初始化为0，在顶部红色部分开始使用梯度下降，从这点开始，环顾四周，往下降最快的方向迈出一小步，然后环顾四周又迈出一步，依此类推。

梯度下降有一个有趣的特点，对于不同的起始点，会得到不同的局部最优解。即使起始点偏移了一点，也会得到一个完全不同的局部最优解。

以上是我们从图中得到的直观感受，现在我们来看背后的数学原理，这是梯度下降算法的定义，我们将会反复做这一步直到收敛：

我们要更新参数θj，符号“:=”表示赋值。α（称为学习效率）用来控制梯度下降时迈出多大的步子，如果α值很大，梯度下降就很迅速，如果α值很小，梯度下降就很缓慢。

2.只有一个参数的最小化函数

当θ1位于对称轴右方时：
由于一元函数的偏导数即导数，为图像的斜率，这种情况下的斜率为正数，所以θ1 = θ1 - α*正数，由于α总是一个大于零的数，所以θ1向左移使θ1变小了。

当θ1位于对称轴左方时：
这种情况下的斜率为负数，所以θ1 = θ1 - α*负数，所以θ1实际上是增加了。