常见损失函数深度剖析之二分类

常见损失函数深度剖析之二分类

 

###1.二值交叉熵

 二值交叉熵是二分类问题的默认损失函数，用于目标变量满足{0，1}二值分布的二分类模型中。

 交叉熵回顾——交叉熵是信息理论学里面，用来衡量两个概率分布之间的不相似度，交叉熵越小，概率分布就更相似。

 参照交叉熵的定义，二分类问题中的交叉熵就应由两部分组成。

 即真实值为1的概率分布与模型应当预测为1的概率分布间的交叉熵，以及真实值为0的概率分布与模型应当预测为0的概率分布间的交叉熵。

###2.铰链损失

 如果当目标变量满足{-1，1}二值分布，铰链损失往往就替代了二值交叉熵的使用。

 起初，铰链损失主要用于支持向量机中，作为训练最大化边界分类器的损失函数。

 在某些二分类问题上，使用变种版的铰链损失能比二值交叉熵有更好的效果，即得到一个最大化边界二分类器。

###3.平方铰链损失

 铰链损失有很多变版，其中之一就是平方铰链损失，损失平方化能让原来的误差函数（表面）更平滑。

 对于某些二分类问题，如果仅使用铰链损失确实能产生更好的性能，继续使用平方铰链损失能让模型更稳健。