【机器学习300问】114、什么是度量学习？三元组损失又是什么？

最新推荐文章于 2024-06-20 23:47:39 发布

小oo呆

最新推荐文章于 2024-06-20 23:47:39 发布

阅读量837

点赞数 21

分类专栏：【机器学习】文章标签：学习人工智能

本文链接：https://blog.csdn.net/qq_39780701/article/details/139636462

版权

131 篇文章 28 订阅

订阅专栏

这些天都在加强自己的CV基本功，之前做过的人脸识别项目里有很多思考，在学习了这些基础知识后，我再次回顾了之前的人脸识别项目。我发现，很多之前困惑不解的问题现在都有了清晰的答案。

一、什么是度量学习？

度量学习也称为距离度量学习或相似度学习。目标是学习有效的距离或相似度度量，使同类样本之间的距离小、不同类样本之间的距离大，以提高分类或聚类准确性。常见方法有对比学习、三元组学习和多视图学习，它们定义样本间距离或相似度，并优化模型参数。

三元组损失函数（Triplet Loss）是度量学习（Metric Learning）中常用的损失函数，通过最小化同类样本间的距离和最大化不同类样本间的距离来优化模型的度量。

它的基本思想是通过最小化“锚点（Anchor）”、“正例（Positive）”和“负例（Negative）”这三个样本之间的相对距离来优化模型。具体来说：

三元组损失函数的数学表达式如下：

$L(A,P,N)=max(0,d(A,P)-d(A,N)+\alpha)$

符号	解释
$d$	表示两个样本在特征空间中的距离，通常使用欧氏距离或余弦距离等
$d(A,P)$	表示锚点样本与正样本之间的距离
$d(A,N)$	表示锚点样本与负样本之间的距离
$\alpha$	是一个预先设定的边际（margin），用来确保正例与锚点的距离比负例与锚点的距离至少小 $\alpha$
$max$	如果这个条件不满足，损失函数的值就为两者之差加上 $\alpha$ ，否则损失为0

目标是最小化锚点与正样本间的距离，同时最大化锚点与负样本间的距离。

对于余弦相似度，三元组损失函数目的是确保一个“锚点”样本与其同类的“正例”样本之间的余弦相似度比与一个不同类的“负例”样本之间的余弦相似度至少大一个固定的边际。

数学上这个目标可以表示为以下公式：

$L(A,P,N)=max(0,cos(A,P)-cos(A,N)+m)$

符号	解释
$L(A,P,N)$	三元组损失函数，衡量锚点、正例、负例之间的相似度差异
$A$	锚点（Anchor）样本的特征向量，用于比较的基准
$P$	正例（Positive）样本的特征向量，与锚点属于同一类别
$N$	负例（Negative）样本的特征向量，与锚点属于不同类别
$m$	边际（Margin），一个正数，确保正例与锚点的相似度显著高于负例与锚点的相似度
$cos(x,y)$	余弦相似度函数，衡量向量x和y之间的方向相似性，取值范围为-1到1，值越接近1表示方向越相似