机器学习03-代价函数与梯度下降算法（二）

在阅读这篇博文之前你需要了解的数学知识：

1，误差：本篇用平方差误差公式。

2，函数的收敛性：当函数趋向无穷大或无穷小，或某个具体数值时，该函数总是逼近某个值，这就是函数的收敛性。

3，导数：导数的数学意义就是这个点的斜率。

4，矩阵。

   在《机器学习笔记02-代价函数与梯度下降算法（一）》中我们谈到代价函数：

而在本篇博文中，我们将讨论如何用梯度下降算法求解代价函数J(θ0,θ1) 的最小值。

   梯度下降背后的思想是：开始时我们随机选择一个参数的组合（θ0,θ1,...,θn），计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最