度量学习论文阅读笔记
- 论文题目:Constellation Loss: Improving the efficiency of deep metric learning loss functions for optimal embedding
- 论文主要贡献:把
Triplet loss
和Multiclass-N-pair loss
的函数结合起来,构造了一个新的损失函数,在一个大肠癌组织切片的数据集上获得了比Triplet loss
和Multiclass-N-pair loss
更好的分类效果。
Triplet loss
的损失函数: L triplet = 1 N ∑ i = 1 N max ( 0 , ∥ f i a − f i p ∥ 2 2 − ∥ f i a − f i n ∥ 2 2 + α ) \mathcal{L}_{\text {triplet}}=\frac{1}{N} \sum_{i=1}^{N} \max \left(0,\left\|f_{i}^{a}-f_{i}^{p}\right\|_{2}^{2}-\left\|f_{i}^{a}-f_{i}^{n}\right\|_{2}^{2}+\alpha\right) Ltriplet=N1∑i=1Nmax(0,∥fia−fip∥22−∥fia−fin∥22+α),
Multiclass-N-pair loss
损失函数: L m − c = 1 N ∑ i = 1 N log ( 1 + ∑ j ≠ i exp ( f i ⊤ f j + − f i ⊤ f i + ) ) \mathcal{L}_{m-c}=\frac{1}{N} \sum_{i=1}^{N} \log \left(1+\sum_{j \neq i} \exp \left(f_{i}^{\top} f_{j}^{+}-f_{i}^{\top} f_{i}^{+}\right)\right) Lm−c=N1∑i=1Nlog(1+∑j̸=iexp(fi⊤fj+−fi⊤fi+)),
Constellation Loss
损失函数为: L constellation = 1 N ∑ i = 1 N log ( 1 + ∑ j K exp ( f i a ⊤ f j n − f i a ⊤ f i p ) ) \mathcal{L}_{\text {constellation}}=\frac{1}{N} \sum_{i=1}^{N} \log \left(1+\sum_{j}^{K} \exp \left(f_{i}^{a \top} f_{j}^{n}-f_{i}^{a \top} f_{i}^{p}\right)\right) Lconstellation=N1∑i=1Nlog(1+∑jKexp(fia⊤fjn−fia⊤fip)), - 可以看到论文提出的损失函数可以获得更好的聚类效果: