损失函数、代价函数与目标函数

定义

损失函数(Loss Function)：是定义在单个样本上的，用来评价模型的预测值和真实值不一样的程度，指一个样本的误差。

代价函数(Cost Function)：定义在整个训练集上的，是指所有样本误差的平均，也就是所有损失函数值的平均。

目标函数(Object Function)：指最终需要优化的函数，一般来说是经验风险加结构风险（代价函数+正则化项），正则化项指惩罚项，做矫正作用。

常见的损失函数

一、0-1损失函数

0-1损失指预测值和目标值不相等为1，否则为0。

   

由损失函数可以看出，预测结果要么对，要么错，完全不考虑预测值和真实值之间的误差程度，对于分类任务而言，的确分的要么对要么错，而对于回归任务而言，预测错误差一点和差很多是不一样的，但是在这种损失函数中体现不出来，这种损失局限性较多，在实际场景中使用比较少。

二、绝对值损失函数

绝对值损失函数是计算预测值与目标值的差的绝对值。

一般用于回归模型。

三、平方损失函数

实际结果和观测结果之间的差距的平方。

一般用在线性回归中。

四、log对数损失函数

该损失函数用到了极大似然估计的思想，p(Y|X)表示在当前模型的基础上，对于样本X，其预测值为Y，预测正确的概率，由于概率之间同时满足需要使用乘法，而对其取log可以把乘法转换为加法，log函数是递增函数，预测准确率越高，P越大，取对数以后也越大，但由于损失函数应该随着准确率增大而减小，所以前面加一个负号。

一般用于逻辑斯蒂回归。

五、指数损失函数

一般用于集成学习算法，比如boosting或adaboost。

六、Hinge函数

一般用于分类算法中的损失函数，尤其是用于SVM中。

常用的代价函数

一、均方误差(Mean Squared Error,MSE)

均方误差指参数估计值与参数真值之差的平方的期望值，一般作为回归问题的代价函数。

二、均方根误差(Root Mean Squared Error,RMSE)

均方根误差是均方误差的算术平方根，一般用作回归算法的性能指标。

三、平均绝对误差(Mean Absolute Error,MAE)

平均绝对误差是绝对误差的平均值，一般用作回归算法的性能指标。

四、交叉熵代价函数(Cross Entry)

用来估计当前训练得到的概率分布与真实分布的差异情况，减少交叉熵损失就是在提高模型的预测准确率。

其中p(x)指真实分布的概率，q(x)是模型通过数据计算出来的概率估计，一般用作分类问题的代价函数。

---

总结

这一节总结了常用的损失函数和代价函数，以及明确了损失函数、代价函数和目标函数的含义，在以后的算法中会以这些损失函数为基础选择适合各个算法的损失函数，提高模型的准确率。

参考：

https://zhuanlan.zhihu.com/p/58883095

https://blog.csdn.net/chkay399/article/details/81878157