机器学习day2——梯度下降

梯度下降

不仅是最小化线性回归的代价函数J，还可以最小化其他函数。

最小化任意函数

学习率越大，θ

导数的意义：

α的意义：

梯度函数在代价函数中的应用

注意：有的函数具有局部最优解，有的只有全局最优解。
图解梯度下降算法在代价函数中的应用:

梯度下降算法每步都遍历了整个训练集。