pytorch 交叉损失熵函数及CLIP中的对比函数

交叉损失熵函数

在深度学习进行分类任务时经常用到交叉损失熵函数：首先定义logic表示余弦相似度，labels表示真实标签。可以直接使用交叉熵损失函数

import torch.nn as nn
Loss = nn.CrossEntropyLoss(logic, labels)

其中logic是一个NXC大小的数组，N表示有多少个样本（BatchSize），C表示类别总数。例如，

        表示有三个样本，四个类别。

        而labels是一个一维数组，大小为N。表示N个样本所对应的真实类别。如label=[3,0,1]，表示一个有三个样本，第一个样本对应的真实标签为3，第二个真实标签为0，第三个真实标签为1.

交叉熵函数计算公式为：

其中，可以认为在pytorch函数内部，会将label转换为一个NXC大小的数组，并且只有在真实类别处为1，其它为0。例如会将label[3,0,1]转化为，则可以将公式化简为：

即将每个样本真实标签的概率求平均。而可以近似为先对logic进行softmax，得到每一个样本对应不同类别的概率，之后在取log。参考：http://t.csdnimg.cn/49mKj

CLIP中的对比损失函数：

伪代码如下：

# image_encoder - ResNet or Vision Transformer
# text_encoder - CBOW or Text Transformer
# I[n, h, w, c] - minibatch of aligned images
# T[n, l] - minibatch of aligned texts
# W_i[d_i, d_e] - learned proj of image to embed
# W_t[d_t, d_e] - learned proj of text to embed
# t - learned temperature parameter

# 分别提取图像特征和文本特征
I_f = image_encoder(I) #[n, d_i]
T_f = text_encoder(T) #[n, d_t]

# 对两个特征进行线性投射，得到相同维度的特征，并进行l2归一化
I_e = l2_normalize(np.dot(I_f, W_i), axis=1)
T_e = l2_normalize(np.dot(T_f, W_t), axis=1)

# 计算缩放的余弦相似度：[n, n]
logits = np.dot(I_e, T_e.T) * np.exp(t)

# 对称的对比学习损失：等价于N个类别的cross_entropy_loss
labels = np.arange(n) # 对角线元素的labels
loss_i = cross_entropy_loss(logits, labels, axis=0)
loss_t = cross_entropy_loss(logits, labels, axis=1)
loss = (loss_i + loss_t)/2

 可以看到在计算缩放的余弦相似度后，分别使用了两个交叉损失熵函数来分别计算图像和文本的损失。这里结合图像-文本对比训练图来理解：

 可以看到，每个对角线元素为正样本，可以设置为其对应的标签。所以label是一个从0到N-1对的数组。从行的角度出发，则可以计算图像的损失函数，从列的角度出发，则可以计算文本的损失函数。最后将二者的均值作为对比损失函数。