三元函数的几何图形一般是_计算机视觉相关损失函数学习笔记

损失函数用来量化模型预测与真实标签之间的差异。

损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。

下面介绍几种常用的损失函数：

1、0-1损失函数(0-1 Loss Function)

最直观：表示模型在训练集上的错误率。

缺点：数学性质不好：不连续且导数为0，难以优化，因此常用连续可微的损失函数替代。

2、平方损失函数(Quadratic Loss Function)

经常用在预测标签y为实数值的任务中，定义为：

缺点：平方损失函数一般不适用于分类问题。

3、交叉熵损失函数（Cross-Entropy Loss Function）

其中：

4、三元组损失函数（Triplet Loss Function）

三元组损失最初应用于人脸识别任务中，初次在FaceNet: A Unified Embedding for Face Recognition and Clustering论文中提出的，可以学 到较好的人脸的 embedding 。

为什么不使用softmax呢？

通常在监督学习中，有固定数目的 class，并且用softmax交叉熵损失训练网络。但是，在某些情况下，class 数量是可变的。例如，在人脸识别任务中，我们需要能够比较两个未知的人脸是否来自于同一个人。

在这种情况下，三元组损失是学习到良好 embedding 的一种方法。在 embedding 空间，相似的图像（来自同一个人的脸部）应该是彼此靠近的，并形成分离良好的簇。

三元组

输入是一个三元组<a, p, n>

• a：anchor 原点
• p：positive，与 a 同一类别的样本
• n：negative，与 a 不同类别的样本

Triplet loss on two positive faces (Obama) and one negative face (Macron)

triplet loss 的目的在于确保：

• 具有相同标签两样本的 embedding 在 embedding 空间中靠得很近。
• 具有不同标签两样本的 embedding 相距很远。

如果只遵循以上两点，最后 embedding 空间中相同类别的样本间距离很小，不同类别的样本之间距离也会偏小。我们需要满足对于两个positive样本和一个nagative样本，negative样本应该要比active样本在一定程度上更远。因此，类似于 SVM 的思想，我们引入 margin 来分离不同的簇。

原理

在embedding空间中，三元组<a, p, n>满足以下关系：

最小化L，即 d(a,p) -> 0, d(a,n)≥d(a,q)+margin