![456dccfc125d6404dfc0382dd595bcbb.png](https://i-blog.csdnimg.cn/blog_migrate/4cdf032e784e8ade8f4db4e2d1b40b4c.jpeg)
本文讨论Hinge损失函数,该函数是机器学习中常用的损失函数之一。
函数特性
在机器学习中,hinge loss是一种损失函数,它通常用于"maximum-margin"的分类任务中,如支持向量机。数学表达式为:
其中
- 如果
,则损失为:
- 如果
,则损失为:0
其函数图像如下,与0-1损失对比:
![59d0f236957c365fcc2fb73996a9571a.png](https://i-blog.csdnimg.cn/blog_migrate/5ca92bd0e5c21a4f90cf59e22a119aa7.jpeg)
优化
以支持向量机为例,其模型为:
变种
实际应用中,一方面很多时候我们的y的值域并不是[-1,1],比如我们可能更希望y更接近于一个概率,即其值域最好是[0,1]。另一方面,很多时候我们希望训练的是两个样本之间的相似关系,而非样本的整体分类,所以很多时候我们会用下面的公式:
其中,y是正样本的得分,y’是负样本的得分,m是margin(自己选一个数)
即我们希望正样本分数越高越好,负样本分数越低越好,但二者得分之差最多到m就足够了,差距增大并不会有任何奖励。
比如,我们想训练词向量,我们希望经常同时出现的词,他们的向量内积越大越好;不经常同时出现的词,他们的向量内积越小越好。则我们的hinge loss function可以是:
其中,w是当前正在处理的词,
参考
[1]. Wikiwand Hinge loss
[2]. 损失函数:Hinge Loss(max margin)