softmax

softmax函数的公式如下：

$$softmax(z_i)=\frac{e^{z_i/T}}{\sum _{j=1}^K{e}^{z_j/T}}$$

其中，$z_i$ 是输入向量的第 $i$ 个元素，$T$ 是温度参数，$K$ 是向量的长度。$softmax(z_i)$ 表示将向量 $z$ 转化为概率分布的第 $i$ 个元素的概率，其中 $i\in [1,K]$。在CLIP中，我们可以将 $z_i$ 理解为图像和文本之间的相似度，$T$ 的值是由网络学习得到的，用于调整相似度的度量。

用于计算相似度的余弦相似度公式：
$$\frac{x\cdot y}{|x|\times |y|}$$

其中，$x$ 和 $y$ 分别表示两个向量，$\cdot$ 表示向量的点积，$|x|$ 和 $|y|$ 表示向量的模长。

用于计算 softmax 函数的公式：
$$softmax(z_i)=\frac{e^{z_i/T}}{\sum _{j=1}^K{e}^{z_j/T}}$$

其中，$z_i$ 是输入向量的第 $i$ 个元素，$T$ 是温度参数，$K$ 是向量的长度。

用于计算对比损失的公式：
$${\mathcal{L}}_{\text{contrastive}}(v,u,\tau )=-\log \frac{e^{\frac{v\cdot u}{\tau }}}{{\sum }_j{e}^{\frac{v\cdot u_j}{\tau }}}$$

其中，$v$ 和 $u$ 分别表示图像和文本的嵌入向量，$u_j$ 是负样本的文本向量，$\tau$ 是温度参数。

用于计算交叉熵损失的公式：
$${\mathcal{L}}_{\text{cross-entropy}}(y,p)=-\sum _i{y}_i\log p_i$$

其中，$y$ 是真实标签的向量，$p$ 是模型预测的概率分布向量。