Hinge Loss 是一种损失函数,广泛用于 支持向量机(SVM, Support Vector Machine) 和一些分类问题中。它特别适合用于 二分类问题,主要目标是让模型的预测值(通常是经过线性变换的原始分数)与真实标签之间的间隔尽可能大,从而提高分类的鲁棒性。
Hinge Loss 的定义
Hinge Loss 的特点
-
间隔最大化:
强调决策边界的间隔,促使分类器找到一个对噪声数据较为鲁棒的决策边界。 -
稀疏性:
仅对误分类或距离边界太近的样本(支持向量)有非零损失,从而节省计算。 -
线性模型:
通常与线性模型结合(如线性 SVM),但也可以扩展到非线性模型(如核 SVM)。 -
不可微性:
在 yif(xi)=1 的位置不可导,但通常可以通过次梯度法优化。
使用场景
1. 支持向量机(SVM)
Hinge Loss 是 SVM 的核心损失函数。在 SVM 中,Hinge Loss 结合正则化项(通常是