Machine Learning 2-2 代价函数

代价函数（Cost Function ） 是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。
引入：本章节我们将定义代价函数的概念，这有助于我们弄清楚如何把最有可能的直线与我们的数据拟合。
在线性回归中我们有这样一个训练集，m代表了训练样本的总数量，假设函数h是用来预测函数的，θi在这里我们称为模型参数，我们所做的就是在假设函数中求出参数θ0与θ1的值。

θ的变化会改变直线的走向，让直线更好的拟合实际训练集中的那些已有的那些点点。

在线性回归中我们已知训练集如下图，我们所要做的就是得出θ0和θ1这两个参数的值来让假设函数表示的直线尽量的能与这些数据点很好的拟合。

那有没有一种方法让拟合直线是否理想这件事变得可以量化呢？
针对那一堆训练集里面x（i）y（i）是已知的，如果把训练集中的每个x（i）入我们用于拟合的那个直线的公式 中都可以得到一个估计值 , 用这个估计值和实际值之差的平方，可以衡量我们估计值和实际值的偏差情况。

我们如果把所有m个偏差的平方给它们求和，就会得到一个数，这个数呢，可以衡量我们的拟合曲线对所有的已知训练点的偏差情况。如果有办法把这个和降到最低呢，我们也就找到了那条最中庸，也是最适合用来做这个房子买卖这件事的预测直线。最小化的过程意味着我们要找到θ0和θ1的值来使得这个表达式最小。简单来说，我们正在把这个问题编程找到能够使我们训练集中预测值和实际值的差的平方和的1/2m最小的θ0和θ1的值。因此这是我们线性回归的整体目标函数。
这样我们可以定义一个代价函数，我们想做的就是关于θ0和θ1对函数J（θ0，θ1）求最小值。代价函数也成为平方误差函数。平方误差代价函数可能是解决回归问题的最常用的手段。