常见的损失函数以及对应的应用场景

 

损失函数 Loss Function 也可称为代价函数 Cost Function,用于衡量预测值与实际值的偏离程度。我们机器学习的目标就是希望预测值与实际值偏离较小，也就是希望损失函数较小，也就是所谓的最小化损失函数。

几种常见的损失函数如下：

1.0-1损失 ：可用于分类问题，该函数用户衡量误分类的数量，但是由于该函数由于是非凸的，在最优化过程中求解不方便，有阶跃，不连续，所以使用不多。

2.绝对值损失：

3.平方损失：常用于线性回归

4.对数损失Log Loss：常用于模型输出每一类概率的分类器，比如逻辑斯蒂回归。也叫交叉上损失Cross-entropy Loss（交    叉熵用于衡量两个概率分布的差异性）

5.Hinge损失函数：常用于SVM

 

对于回归问题，常用平方损失和绝对值损失

对于分类问题，常用Logloss和hinge loss

 

Logistic使用Log Loss 不使用平方损失的原因：

平方损失会导致损失函数是theta的非凸函数，不利于求解，因为非凸函数会存在许多的局部最优解。