Hinge Loss

主体转载：https://zhuanlan.zhihu.com/p/35708936

函数特性
在机器学习中，hinge loss是一种损失函数，它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为：
  

个人理解：比如是多分类问题，十分类的话，预测的[10,1]的向量,形如【1.2，0.2，0.1，0.8，0.2，0.2，......】，它的标签也是一个 [10,1] 的向量y，一般标签是个one-hot编码的，即形如【1，1，0，0，0，0，0，0，0，0】，这样 两个向量 元素级的 点乘，得到 c=【1.2，0.2，0，0，0，0，0，0，0，0】，再经过max（0，1-c）,max(0, [-0.2, 0.8,1,1,1,1,1,1,1]) =

【0，0.8，1，......】，再反向求导的时候，一个元素一个元素的求，如果c的某项大于等于1，说明预测这个值 的结果很好，不仅准确，而是远远准确，所以，得到这个值对于更新权重就没影响了，考虑1-c的其他项

变种

实际应用中，一方面很多时候我们的y的值域并不是[-1,1]，比如我们可能更希望y更接近于一个概率，即其值域最好是[0,1]。另一方面，很多时候我们希望训练的是两个样本之间的相似关系，而非样本的整体分类，所以很多时候我们会用下面的公式：

 

其中，y是正样本的得分，y’是负样本的得分，m是margin（自己选一个数）

即我们希望正样本分数越高越好，负样本分数越低越好，但二者得分之差最多到m就足够了，差距增大并不会有任何奖励。

比如，我们想训练词向量，我们希望经常同时出现的词，他们的向量内积越大越好；不经常同时出现的词，他们的向量内积越小越好。则我们的hinge loss function可以是：

其中，w是当前正在处理的词，   是w在文中前3个词和后3个词中的某一个词，是随机选的一个词。