合页损失函数

这里介绍得是统计学习方法中提到的二分类合页损失函数hinge loss

对于包含$N$个样本的数据$D(x,y)$。$x$代表样本输入，$y$代表真实的标签，$y$中元素的值属于 { 1 , − 1 } \{1,-1\} {1,−1}，分别表示正类与负类。 第$n$个样本对应的$loss$，如下：

$$l_n=max(0,1-y(w{x}_n+b))$$

• 当$1-y(w{x}_n+b)<0$, 即$y(w{x}_n+b)>1$时，loss取值为0，此时分类正确，并且输出与标签的乘积较大确信度比较高，属于易分类样本，loss忽略不计。
• 当$0<y(w{x}_n+b)<1$, loss取值为$1-y(w{x}_n+b)$，此时虽然分类正确，但确信度不高
• 当$y(w{x}_n+b)<0$, loss取值为$1-y(w{x}_n+b)$，此时分类错误

hinge loss 使得模型更加关注难分类的样本，并且对于分类正确但确信度不高的样本也会计算误差值。