二、代价函数

代价函数

我们手中有一部分样本的数据$(x_i,y_i)$，绘制在坐标图上

现在，我们要求求一条直线，能够拟合出上图中这些样本点。

假设，直线的函数表达式为$h(x)={\theta }_0+{\theta }_{1}x$，我们的目标是：选择合适的参数值${\theta }_0,{\theta }_1$使得输入样本点处的$x$值，得到的$h(x_i)$与$y_i$足够接近。

那么如何度量出预测值$h(x_i)$与样本值$y_i$“足够接近”？使用如下的表达式：
$$\frac{1}{2N}\sum _{i=1}^N(h(x_i)-y_i{)}^2$$

• 解释：求样本值与预测值误差的平方和，再取平均值。这里的再÷2的目的是为了在平方求导时能够消掉2：$((h(x)-y_i{)}^2{)}^{\prime }=2h(x)h^{\prime }(x)$

因此，“足够接近”这一目标就转变成：求出合适的${\theta }_0,{\theta }_1$能够使公式$(1)$达到最小值。

公式$(1)$（平方误差代价函数）也被称为代价函数。

Cost Function：
$$J({\theta }_0,{\theta }_1)=\frac{1}{2N}\sum _{i=1}^N(h(x_i)-y_i{)}^2$$
Goal：
$$\underset{{\theta }_0,{\theta }_1}{\min }J({\theta }_0,{\theta }_1)$$
下面来看一下Cost Function的图像是怎么样的：

• 为了方便起见，我们将${\theta }_0$置0，即$h(x)={\theta }_{1}x,J({\theta }_1)$

• 同时，假设样本点全在$h(x)=x$这条直线上

  

• 现在，逐步改变${\theta }_1(\theta =-\infty ...-2,-1,0,1,\mathrm{2...}+\infty )$的值（即改变斜率），用公式$\frac{1}{2N}{\sum }_{i=1}^N(h(x_i)-y_i{)}^2$求出$J({\theta }_1)$，然后把$J({\theta }_1)$画在坐标图上

  

  这就是Cost Function的图像，从图中可以看出，当$x=1$时，函数值最小，与我们预设样本点在$h(x)=x$上一致；当${\theta }_1\to \infty$时，$J(\theta )\to \infty$

根据以上的例子，我们对代价函数的概念和图像都有了一定的了解，现在加一点复杂度，当上述的${\theta }_0$是一个常数时（考虑${\theta }_0$），即有两个参数时，对应的Cost Function应该是什么样的？

• 样本数据绘制结果如下：

  

• 对于${\theta }_0,{\theta }_1$ 取不同的值，得到$J({\theta }_0,{\theta }_1)$是一个二元函数，在三维坐标系中画出$J({\theta }_0,{\theta }_1)$的图像如下：

  

• 为了能够更方便的比较数据，我们采用等高线图来表示这个函数：

  

• 当$h(x)$的曲线如下时，拟合的结果较好，同时在等高线图中对应的$J({\theta }_0,{\theta }_1)$与最小值点非常接近，符合预期。