梯度下降法(gradient descent)

假设代价函数如图：

在上图中，代价函数的最低点就是预测函数h(x)的最优解，假设随便定义一个红圈里的点为θ₀和θ₁的初始值，想象我们正在山顶，环视四周后找到一个可以尽快下山的方向，我们沿着这个方向跨出一步，然后再环视四周，找到一个尽快下山的方向跨出一步，一直循环直到到达最低点，这种方法被称作梯度下降法。
梯度下降法的函数可以写作

α又被称作学习速率（learning rate），这个参数决定梯度下降时跨出一步的距离，如果α很小，那将迈着小碎步下山，花费时间可能会很长，如果α很大，那将跨出一大步，可能会直接跨过最低点，所以α的大小非常重要。