吴恩达机器学习（六）线性回归的梯度下降

1.先导知识

之前学习的内容：

2.线性回归的梯度下降

我们要做的是将梯度下降法应用到最小化平方差代价函数，

我们解决过的梯度下降问题之一就是它容易陷入局部最优，如下图，从表面下降，如何根据从哪里初始化决定最终取到不同的局部最优解。

线性回归的代价函数，总是一个弓状函数，即凸函数，这个函数没有局部最优解，只有一个全局最优，计算这种代价函数的梯度下降，只要使用线性回归，总是会收敛到全局最优。

这里有假设函数的曲线和代价函数J的曲线：
当θ0 = 900,θ1 = -0.1时

如果梯度下降一步，会从当前点向左下方移动一点点，同时左边的假设函数的线会往下一点点：





假设函数越来越符合数据，最后得到了全局最小值。
刚刚学习的算法有时候被称作Batch梯度下降，意味着每一步梯度下降，都遍历了整个训练集的样本，所以在梯度下降中当计算偏导数时，我们计算总和。