机器学习（2）——代价函数

模型描述

在监督学习中，有一个数据集（data set），也被称为（training set） .算法的工作就是学习如何预测相关结果。课程相关变量名：
m：数据数量
x：输入变量
y：输出变量
(x,y)：一个训练样本

(x ^(i)，y ^(i)):第i个训练样本

简单实例
h:假设函数。

模型最初最需要一个假设函数

然后选择两个可靠的参数

代价函数

我们获取到模型要做的就是获得较为准确的两个参数。

h(x):表示我们预测的值

我们要做的就是让h(x)与y的值越来越接近。
所以在线性回归中我们要解决的是一个最小化问题。所以要确定这两个参数值的最小值

所以我们所求的是预测值h(x)和"正确值"差平方之和的1/2m。

这也就意味着，通过这个代价函数所得到的两个参数会使这个表达式的值最小
因为该表达式的值随着两个参数的变化而变化

同时代价函数（cost function）也被称为误差平方代价函数（squared error cost function）。

先对其进行简化，只设置一个参数值：

假设我们给出样本恰好拟合h(x)
画出假设函数h(x)与代价函数J(参数1)

得到
J(1)=0

若改变参数值：

每一个参数值表示图中的每一个点。

我们由图可以看到，当J(1)时值为0，而这个完美拟合该曲线。
所以我们也你能看出，J(i)取最小时会得到最准确的数字。

接下来保留两个参数，

得到的代价函数会是一个3d图：

为了更好表示，后续用等高线图（contour plots），等高图像(contour figures)表示:

等高线如图所示，粉红色的三个点的值表示的是同一个J(参数1，参数2)。

越往中心越能得到更好的得到相对正确的值。
但这个点仍然不是最小的，虽然已经十分接近。
为了找到最小的两个参数值，就需要计算机帮忙了。