机器学习-3 cost function 代价函数

1、代价函数简介

代价函数是用来衡量假设函数（hypothesis function）的准确性，具体衡量指标是采用平方差的方式计算。例如，假设函数是 hθ(xi) = θ0 + θ1yi，那么，代价函数就是：

其中，m是样本数量。同时，这个函数还可以称为"Squared error function" 或者 "Mean squared error”，同时，除以2的原因是为了方便之后的梯度下降，也利于导数项的减少。

下面这幅图片更加直观的表达代价函数的由来：

2、代价函数详述

2.1 单变量情况

为了更加直观的理解代价函数，我们还是以线性的训练集为例子。训练集落在x-y坐标集中，在这个回归问题中，我们想生成一个假设函数，这个假设函数生成一个直线，可以大致贯穿给定的训练集。

我们的目标就是获取一个尽可能完美的直线。最好的直线，就是使我们的预估值与样本值之间的方差最小。理想情况下，直线穿过所有