距离间隔(distance margins)

m0_72782700

已于 2024-06-06 21:35:12 修改

阅读量965

点赞数 12

文章标签：人工智能

于 2024-05-24 10:38:24 首次发布

本文链接：https://blog.csdn.net/m0_72782700/article/details/139158451

版权

一、相似度距离(similarity margin)

1、分类

1.1、pair/triplet-based

Contrastive Loss

Triple Loss

MultiSimilarity loss

Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning

1.2、proxy-based

Proxy-NCA loss(基于代理的邻域内容分析)

Proxy-Anchor Loss(基于代理的铰损失)

SoftTriple loss

Qian, Qi, et al. “SoftTriple Loss: Deep Metric Learning Without Triplet Sampling.” 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019, https://doi.org/10.1109/iccv.2019.00655.

Manifold Proxy loss(多代理损失)

Aziere, Nicolas, and Sinisa Todorovic. “Ensemble Deep Manifold Similarity Learning Using Hard Proxies.” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, https://doi.org/10.1109/cvpr.2019.00747.

1.3、其他

Magnet Loss（磁性损失）

自适应密度损失

Rippel, Oren, et al. “Metric Learning with Adaptive Density Discrimination.” Cornell University - arXiv,Cornell University - arXiv, Nov. 2015.

HDC(硬感知联级嵌入)

Yuhui Yuan, Kuiyuan Yang, and Chao Zhang. Hard-aware deeply cascaded embedding. In Proc. IEEE International Conference on Computer Vision (ICCV), 2017

DML-FL(设施选址)

论文提出了一种基于设施选址的损失函数，具体形式如下：
其中，𝑥𝑖xi 表示样本，𝑓𝑗fj 表示设施（即选择的代表性样本），𝑑(⋅,⋅)d(⋅,⋅) 表示距离函数，𝐴𝑖𝑗Aij 表示样本和设施之间的邻接关系。

Hyun Oh Song, Stefanie Jegelka, Vivek Rathod, and Kevin Murphy. Deep metric learning via facility location. In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

HTL(层次化三原组损失)

通过引入多层次的三元组损失函数，将传统的三元组损失扩展为层次化版本，逐层优化嵌入空间中的样本分布。

三元组损失：
- 传统的三元组损失通过最小化样本之间的距离差异，使得同类样本之间的距离小于不同类样本之间的距离。
- 具体形式如下：
  其中，𝑥𝑖𝑎xia、𝑥𝑖𝑝xip、𝑥𝑖𝑛xin 分别表示锚点、正样本和负样本，𝑑(⋅,⋅)d(⋅,⋅) 表示距离函数，𝛼α 是一个边界值。
层次化三元组损失：
- 层次化三元组损失通过引入多层次的特征表示，将传统三元组损失扩展为多层次版本。
- 具体形式如下：
  其中，𝐿L 表示层数，𝜆𝑙λl 表示每层的权重，𝑓𝑙(⋅)fl(⋅) 表示第 𝑙l 层的特征表示。

Weifeng Ge, Weilin Huang, Dengke Dong, and Matthew R. Scott. Deep metric learning with hierarchical triplet loss. In Proc. European Conference on Computer Vision (ECCV), 2018

ABE(基于注意力机制的集成学习)

注意力机制：
- 注意力机制通过对输入特征进行加权处理，使模型能够关注到最重要的部分，从而提升特征表示的质量。
- 在深度度量学习中，注意力机制可以帮助模型更好地区分相似和不相似的样本。
集成学习：
- 集成学习通过结合多个模型的预测，减少单个模型的偏差和方差，提高整体性能。
- 在该方法中，多个深度神经网络分别学习不同的嵌入表示，最后通过注意力机制进行加权组合。

Wonsik Kim, Bhavya Goyal, Kunal Chawla, Jungmin Lee, and Keunjoo Kwon. Attention-based ensemble for deep metric learning. In Proc. European Conference on Computer Vision (ECCV), 2018

BIER

引入多重嵌入和提升（boosting）技术

Michael Opitz, Georg Waltner, Horst Possegger, and Horst Bischof. Deep metric learning with bier: Boosting independent embeddings robustly. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2018

Ranked list loss

排序列表根据样本间的相似度进行组织，将样本分成不同的列表，每个列表包含与目标样本相似度逐渐降低的样本。

排序列表根据样本间的相似度进行组织，将样本分成不同的列表，每个列表包含与目标样本相似度逐渐降低的样本。
损失函数通过优化每个排序列表中的样本位置，确保同类样本在嵌入空间中更接近，而不同类样本之间的距离更大。
其中，𝑥𝑖xi 表示样本，𝑃(𝑖)P(i) 表示与样本 𝑖i 同类的正样本集合，𝑘k 表示负样本，𝑑(⋅,⋅)d(⋅,⋅) 表示样本间的距离函数，𝛿δ 是一个边界值。

Wang, Xinshao, et al. “Ranked List Loss for Deep Metric Learning.” Cornell University - arXiv,Cornell University - arXiv, Mar. 2019.

HORDE(高阶正则化)

该方法通过引入高阶统计信息的正则化，优化嵌入空间中的样本分布。

高阶统计信息：
- 高阶统计信息包括均值、方差以及更高阶的统计特征（如偏度和峰度），这些信息能够捕捉样本分布的复杂特性。
- 在深度度量学习中，引入高阶统计信息有助于更精确地建模样本间的相似度和差异。
Horde正则化器：
- Horde正则化器通过计算嵌入表示的高阶统计特征，并将其引入损失函数中，强制模型学习更具鲁棒性的嵌入表示。
- 具体正则化形式如下：
  其中，𝑓(𝑥)f(x) 表示样本 𝑥x 的嵌入表示，HighOrderStat表示高阶统计特征的计算。
损失函数设计：
- 将高阶正则化器与传统的三元组损失相结合，构成新的损失函数：
  其中，𝐿𝑡𝑟𝑖𝑝𝑙𝑒𝑡Ltriplet 为传统的三元组损失，𝜆λ 为正则化项的权重。

Pierre Jacob, David Picard, Aymeric Histace, and Edouard Klein. Metric learning with horde: High-order regularizer for deep embeddings. In Proc. IEEE International Conference on Computer Vision (ICCV), 2019

DCML(因果损失)

Deep Causal Metric Learning

2、常见loss

N-pair loss

固定一个正样本对（anchor-positive pair），并在每次训练时选取不同的负样本,通过这种方法，N-pair loss在每次迭代中使用不同的负样本，增加了训练的多样性和难度，从而有助于模型更好地学习到区分正负样本的特征表示。

Lifted Structure loss

选定一个正对后，批次中所有的点（除了正对点）都是潜在的构成负对的点

二、角距离(angular margin)

Angular Margin系列损失函数：L-Softmax Loss、A-Softmax Loss、CosFace Loss、ArcFace Loss

A-Softmax与L-Softmax的区别

最大区别在于A-Softmax的权重归一化了，导致特征上的点映射到单位超球面上。
- 如在训练时两个类别的特征输入在同一个区域时发生了区域的重叠，如图左边。A-Softmax只能从角度上分离这两个类别，也就是说它仅从方向上去分类，分类的结果如图中间；而L-Softmax不仅可以从角度上区别两个类，还能从权重的模（长度）上区别这两个类（Softmax也是两个方法）。如图右边
- 在数据集合大小固定的条件下，L-Softmax能有两个方法分类，训练可能没有使得它在角度与长度方向都分离，导致它的精确可能不如A-Softmax。

人脸识别合集 | 人脸识别损失函数(下)基于Angular Margin - 知乎