【吴恩达机器学习】代价函数的总结

在讲代价函数之前我们说一下假设函数。

假设函数是通过训练得出模型，把模型表示成一个函数，来对输入变量预测出输出变量的。

例如：对于一个单变量线性回归模型，假设函数是 ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥

除输入变量和输出变量之外的那两个参数是可以任意改变的。我们做的是改变这些参数，让我们模型的误差更小。

当然单变量线性回归问题中，那两个参数便是斜率和截距。我们参数的选择直接决定了训练结果的准确程度。

模型中的预测值和训练集中实际值之间的差距成为建模误差。
我们训练的目标便是可以选出使建模误差平方和最小的模型参数。
当然建模误差平方和就是数学中讲的最小二乘法。

那么这里我们可以定义一个关于上面那两个参数的建模平方和函数，即为代价函数。代价函数就是建模误差的平方和除以两倍的数据集(m)长度。
因此这种线性回归的目标就成为求出使建模误差平方和的1/2m最小值的参数𝜃0
和𝜃1。
这种代价函数也被称为平方误差函数或平方误差代价函数。

其实代价函数有很多，只不过平方误差函数对于大多数问题，尤其是回归问题是一个很好的选择。

通过数学知识，我们可以得知代价函数对于上面那两个参数形成的图像应该是一个碗状的曲面图。具体知识请看高数下的多元函数。由于三维图不容易画，所以通常我们用等高线图来表示代价函数。