对代价函数的理解

1、什么是代价函数？

• 定义代价函数的目的是用于找到找到最优解的目的函数。
• “代价”就是预测值和实际值之间的差距，反映在图像中就是（两点之间的距离），对于多个样本来说，就是差距之和。

2、如何区分代价函数、损失函数和目标函数？

• 代价函数（Cost Function） 定义在整个训练集上的，是所有样本误差的平均值，也就是损失函数的平均。
• 损失函数（Loss Function） 定义在单个样本上的，算的是一个样本的误差。
• 目标函数（Object Function） 定义为是最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function+正则化项）。

3、代价函数作用原理

对于回归的问题，我们需要使用代价函数来求出最优解，最长使用的就是平方误差代价函数。
       举个栗子：（图片来自Andrew Ng Machine Learning公开课视频)

在上面的假设函数中，一共有θ0 和 θ1 两个参数，当参数发生变化时，假设函数也会随之变化。如下图，参数不同，图像不同。

在我们需要解决的回归问题中，数据一般都是以点的形式来给到我们，我们如果想要解决这个问题，就需要拟合一条直线，找到最优的θ0 和 θ1来使这条直线能够代表所有的数据。
那问题来了，我们怎么样才能找到最优的解呢？
       此时，就需要使用代价函数来求解了，拿平方误差代价函数来举例。
       从最简单的单一函数来看，假设函数为
平方误差代价函数的主要思想：将实际数据给出的值与我们拟合出的线的对应值做差，求出我们拟合出的直线与实际的差距。

为了使这个值不受个别极端数据的影响而产生巨大的波动，采用类似方差再取二分之一的方式来减少个别数据的影响。这样，就产生了代价函数：

而最优解即代价函数的最小值。

       根据以上公式多次计算可得到代价函数的图像：

根据图像可以看出，代价函数的确有最小值，即横坐标为1的时候，值最小。
       上面的栗子，只含有一个参数 θ1，如果有更多的参数，就会更加复杂，两个参数的时候就已经是三维图像了。如下图：
       高度即为代价函数的值，从图中可以看出，他仍存在着最小值，而到达更多参数的时候，就无法可视化了，但是原理都是相似的。
       因此，对于回归问题，我们就可以归结为得到代价函数的最小值
看到这，你是不是对代价函数也有一个简单而更深刻的了解了呢？让我们共同进步。