pytorch 对特征进行mean_Pytorch中的四种经典Loss源码解析

笔者最近在OneFlow框架对齐实现Pytorch相关Loss代码，其中也涉及到部分源码解读，数学特殊操作等知识，于是想写篇文章简单总结一下。

关于Pytorch的Loss源码

了解过Pytorch的应该知道其历史包袱比较重，它吸收了Caffe2的底层代码，然后自己借用这部分底层代码来写各种OP的逻辑，最后再暴露出一层Python接口供用户使用。

因此第一次接触Pytorch源代码可能有点不太熟悉，基本上Pytorch大部分OP逻辑实现代码都放在 Aten/native下，我们这里主要是根据Loss.cpp来进行讲解

MarginRankingLoss

RankingLoss系列是来计算输入样本的距离，而不像MSELoss这种直接进行回归。其主要思想就是分为 Margin 和 Ranking 。

MarginRankingLoss公式

Margin 这个词是页边空白的意思，平常我们打印的时候，文本内容外面的空白就叫 Margin。

而在Loss中也是表达类似的意思，相当于是一个固定的 范围 ， 当样本距离(即Loss)超过范围，即表示样本差异性足够了 ，不需要再计算Loss。

Ranking 则是排序，当target=1，则说明x1排名需要大于x2；当target=2，则说明x2排名需要大于x1。

其源码逻辑也很简单，就是根据公式进行计算，最后根据reduction类型来进行 reduce_mean/sum

Pytorch的MarginRankingLoss代码

下面是对应的numpy实现代码

def np_margin_ranking_loss(input1, input2, target, margin, reduction):    output = np.maximum(0, -target*(input1 - input2) + margin)    if reduction == "mean":        return np.mean(output)    elif reduction == "sum":        return np.sum(output)    else:        return output

TripletMarginLoss

TripletLoss最早是在 FaceNet 提出的，它是用于衡量不同人脸特征之间的距离，进而实现人脸识别和聚类

TripletLoss

而TripletMarginLoss则是结合了TripletLoss和MarginRankingLoss的思想，具体可参考 Learning local feature de