pytorch笔记：TRIPLETMARGINLOSS

1 介绍

• 创建一个衡量三元组损失的标准，给定输入张量 x1​、x2​ 和 x3​ 以及一个大于0的间距值。
• 这用于测量样本之间的相对相似性。一个三元组由a、p和n组成（锚点、正例和负例）。所
• 有输入张量的形状都应为 (N,D)

• Loss function可以分为三种情况
  • 简单样本：
    • 此时 正样本距离anchor的距离d(ai, pi) + Margin仍然小于负样本距离anchor的距离d(ai, ni)，该情况认为正样本距离足够小，不需要进行优化，因此Loss为0
  • 半难样本：
    • 虽然负样本距离anchor的距离d(ai, ni) 大于 正样本距离anchor的距离d(ai, pi)，但是还不够大，没有超过 Margin，需要优化
  • 难样本：
    • 负样本距离anchor的距离d(ai, ni) 小于正样本距离anchor的距离d(ai, pi)，需要优化

直观地来讲，负样本的位置和样本难度的关系如下：

2 基本使用方法

torch.nn.TripletMarginLoss(
    margin=1.0, 
    p=2.0, 
    eps=1e-06, 
    swap=False, 
    size_average=None, 
    reduce=None, 
    reduction='mean')

3 参数

margin（float，可选）	默认为1
p（int，可选）	用于成对距离的范数度。默认为2
reduction（str，可选）	none/mean/sum，默认是mean

4 举例

import torch
import torch.nn as nn


anchor = torch.tensor([0.5, -0.5, 0.1], requires_grad=True)

pos = torch.tensor([0.7, 0.2, 0.1])

neg= torch.tensor([0.8, 0.9, 0.2])

triplet_loss = nn.TripletMarginLoss(margin=1.0, p=1)

triplet_loss(anchor,pos,neg)
#tensor(0.1000, grad_fn=<MeanBackward0>)

'''
(0.2-0.3)+(0.7-1.4)+(0-0.1)+1=0.1000
''

import torch
import torch.nn as nn


anchor = torch.tensor([0.5, -0.5, 0.1], requires_grad=True)

pos = torch.tensor([0.7, 0.2, 0.1])

neg= torch.tensor([0.8, 0.9, 0.2])

triplet_loss = nn.TripletMarginLoss(margin=1.0, p=2)

triplet_loss(anchor,pos,neg)
#tensor(0.2927, grad_fn=<MeanBackward0>)
'''
np.sqrt((0.2-0.3)**2+(0.7-1.4)**2+(0-0.1)**2)
'''