Deep Metric Learning with Hierarchical Triplet Loss 阅读笔记

最新推荐文章于 2024-12-25 17:38:04 发布

原创

最新推荐文章于 2024-12-25 17:38:04 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了 hierarchical triplet loss (HTL) 方法，通过构建编码上下文信息的树结构，解决了传统三元组损失在 mini-batch 中采样导致的局部最优和收敛速度慢的问题。HTL 包括树的构建、锚点选择和损失函数的定义，旨在提高深度学习的性能和效率。

创新点和动机

文章提出了 hierarchical triplet loss (HTL) 方法，该方法主要通过定义一个编码上下文信息的树来收集信息样本，改进了在 mini-batch 中随机取样导致的陷入局部最优和收敛速度慢等问题。

解决方法

给定使用传统 triplet loss 预训练的神经网络 $ϕt(⋅,θ)(∈Rd)\phi_{t}(\cdot, \boldsymbol{\theta})\left(\in \mathbb{R}^{d}\right)$ ，样本 $xi\boldsymbol{x}_{i}$ 的特征为 $ri=ϕt(xi,θ)\boldsymbol{r}_{i}=\phi_{t}\left(\boldsymbol{x}_{i}, \boldsymbol{\theta}\right)$ ，第p个类和第q个类的距离为 $q)=\frac{1}{n_{p} n_{q}} \sum_{i \in p, j \in q}\left\|r_{i}-r_{j}\right\|^{2}$ 。

如何构建层次树? 计算不同类之间的距离，将原始图像类作为树的叶子节点，叶子节点代表在第0层。设树为L层，第0层合并节点的阈值为 $d0=1C∑c=1C(1nc2−nc∑i∈c,j∈c∥ri−rj∥2)d_{0}=\frac{1}{\mathcal{C}} \sum\limits_{_{c=1}}^{\mathcal{C}}\left(\frac{1}{n_{c}^{2}-n_{c}} \sum\limits_{_{i \in c, j \in c}}\left\|\boldsymbol{r}_{i}-\boldsymbol{r}_{j}\right\|^{2}\right)$