常见的损失误差有五种:
- 铰链损失(Hinge Loss):主要用于支持向量机(SVM) 中;
- 互熵损失 (Cross Entropy Loss,Softmax Loss ):用于Logistic 回归与Softmax 分类中;
- 平方损失(Square Loss):主要是最小二乘法(OLS)中;
- 指数损失(Exponential Loss) :主要用于Adaboost 集成学习算法中;
- 其他损失(如0-1损失,绝对值损失)
- hinge-loss
Hinge loss 的叫法来源于其损失函数的图形,为一个折线,通用的函数表达式为:
L ( m i ) = m a x ( 0 , 1 − m i ( w ) ) L(m_i)=max(0,1-m_i(w)) L(mi)=max(0,1−mi(w))
表示如果被正确分类,损失是0,否则损失就是 1 − m i ( w ) 1-m_i(w) 1−mi(w)
我们将评分函数简写为s:
第i个数据的第j类预测得分值可以表示为:
按照上述定义,我们将它代入公式,得到了hinge损失函数:
hinge损失函数将预测不正确的类别(i!=j)累加,然后将我们评分函数s在第j类(不正确类别)的输出值与在第yi类的输出值比较。
然后应用max函数,使得函数的输出值不小于0 —— 这一点非常重要,因而输出不会出现负值。
若Li=0,说明给定的数据xi被正确分类了