机器学习中各种损失函数对比总结

损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。

损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。

一、分类问题

1. 0-1损失函数(zero-one loss)

0-1损失是指预测值和目标值不相等为1， 否则为0:
$$L(Y,f(X))=\{\begin{array}{l}1,Y\ne f(X)\\ 0,Y=f(X)\end{array}$$
特点：

1. 0-1损失函数直接对应分类判断错误的个数，但是它是一个非凸函数，不太适用.
2. 感知机就是用的这种损失函数。但是相等这个条件太过严格，因此可以放宽条件，即满足 $|Y-f(x)|<T$时认为相等，
   $$L(Y,f(X))=\{\begin{array}{l}1,|Y-f(X)|\ge T\\ 0,|Y=f(X)|<T\end{array}$$

2. Hinge 损失函数

Hinge损失函数标准形式如下：
$$L(y,f(x))=\max (0,1-yf(x))$$
特点：

1. hinge损失函数表示如果被分类正确，损失为0，否则损失就为$1-yf(x)$ 。SVM就是使用这个损失函数。
2. 一般的$f(x)$是预测值，在-1到1之间， $y$是目标值(-1或1)。其含义是，$f(x)$的值在-1和+1之间就可以了，并不鼓励$|f(x)|>$