浅析机器学习中各种损失函数及其含义

常见的损失函数

1.0-1损失函数(0-1 loss function)

$$L(Y,f(X))=\left\{ \begin{aligned}&1,\quad Y\ne f(X)\\& 0,\quad Y=f(X) \end{aligned} \right.$$

  可以看出，该损失函数的意义就是，当预测错误时，损失函数值为1，预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度，也就是只要预测错误，预测错误差一点和差很多是一样的。

---

2.平方损失函数(quadratic loss function)

$$L(Y,f(X))=(Y-f(X))^2$$

  该损失函数的意义也很简单，就是取预测差距的平方。

---

3.绝对值损失函数(absolute loss function)

$$L(Y,f(X))=|Y-f(X)|$$

  该损失函数的意义和上面差不多，只不过是取了绝对值而不是求绝对值，差距不会被平方放大。

---

4.对数损失函数(logarithmic loss function)

L(Y,P(Y