hing-loss

常见的损失误差有五种：

1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中；
2. 互熵损失 （Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中；
3. 平方损失（Square Loss）：主要是最小二乘法（OLS）中；
4. 指数损失（Exponential Loss） ：主要用于Adaboost 集成学习算法中；
5. 其他损失（如0-1损失，绝对值损失）

---

• hinge-loss
  Hinge loss 的叫法来源于其损失函数的图形，为一个折线，通用的函数表达式为：
  $L(m_i)=max(0,1-m_i(w))$
  表示如果被正确分类，损失是0，否则损失就是 $1-m_i(w)$

我们将评分函数简写为s：

第i个数据的第j类预测得分值可以表示为：

按照上述定义，我们将它代入公式，得到了hinge损失函数：

hinge损失函数将预测不正确的类别（i!=j）累加，然后将我们评分函数s在第j类（不正确类别）的输出值与在第yi类的输出值比较。
然后应用max函数，使得函数的输出值不小于0 —— 这一点非常重要，因而输出不会出现负值。
若Li=0，说明给定的数据xi被正确分类了