图对比学习中损失函数解析（以推荐算法为例）

Sky——若尘

已于 2023-11-05 23:40:50 修改

阅读量521

点赞数 1

文章标签：算法推荐算法

于 2023-09-26 23:24:54 首次发布

本文链接：https://blog.csdn.net/qq_52300384/article/details/133219896

版权

在自监督图对比学习的损失函数中，除了本身的有监督损失函数 $L_{main}$ 之外，还有自监督损失函数 $L_{ssl}$ ，有监督损失函数主要以BPR损失函数为主，公式如下图所示：

$L_{BPR}=\sum_{u=1}^{M}\sum_{i \in N_u}^{} \sum_{j \notin N_u}^{} -\ln{\sigma(\hat{y}_{ui} -\hat{y}_{uj}) } +\lambda \left \| E^{(0)}\right \|^2$ (1)

其中 $M$ 表示用户集， $N_u$ 表示用户u的交互物品集，即i是用户u使用过的物品，而j是用户没有使用过的物品。直白的说，BPR损失函数就是，对于每个用户u，其使用过的物品i的排名应该比他没使用过的物品j更靠前，即用户u与物品i的嵌入向量的乘积 $\hat{y}_{ui}$ 应该大于用户u与物品j的嵌入向量的乘积 $\hat{y}_{uj}$ 。

我猜这很好理解，就不过多赘述。

而对于自监督损失函数 $L_{ssl}$ ，其主要可以拆分成如下两部分：

$L_{ssl}=L_{ssl}^{user} + L_{ssl}^{item}$ (2)

因为 $L_{ssl}^{user}$ 和 $L_{ssl}^{item}$ 很相似，接下来我们以 $L_{ssl}^{user}$ 为例，其计算公式如下所示：

$L_{ssl}^{user}=\sum_{u\in U} -\log{\frac{exp(s(z_u^{'},z_u^{''})/\tau)}{\sum_{v\in U}exp(s(z_u^{'},z_v^{''})/\tau)}}$ (3)

其中 $s(z_u^{'},z_u^{''})$ 表示在不同子图中，子图1节点u'和子图2节点u''之间的相似度（同一节点在不同子图的相似度）； $s(z_u^{'},z_v^{''})$ 表示的是子图1节点u'和子图2节点v''之间的相似度（不同节点在不同子图的相似度）。

将其转换一下，可得：

$L_{ssl}^{user}=\sum_{u\in U}\log{\frac{\sum_{v\in U}exp(s(z_u^{'},z_v^{''})/\tau)}{exp(s(z_u^{'},z_u^{''})/\tau)}}$ (4)

进一步化简得：

$L_{ssl}^{user}=\sum_{u\in U}\log{\sum_{v\in U}exp((s(z_u^{'},z_v^{''})-s(z_u^{'},z_u^{''}))/\tau)}$ (5)

pytorch实现就是根据上述表达式，使用 torch.logsumexp() 进行对比损失计算。

or 进一步将表示式(4)分析得：

$L_{ssl}^{user}=\sum_{u\in U}\log{(\frac{\sum_{v\in U, v\neq u }exp(s(z_u^{'},z_v^{''})/\tau)}{exp(s(z_u^{'},z_u^{''})/\tau)}+1)}$ (6)

因为 $\left ( \frac{\sum_{v\in U, v\neq u }exp(s(z_u^{'},z_v^{''})/\tau)}{exp(s(z_u^{'},z_u^{''})/\tau)}> 0 \right )$ ，那么要使得 $L_{ssl}^{user}$ 最小，使 $\frac{\sum_{v\in U, v\neq u }exp(s(z_u^{'},z_v^{''})/\tau)}{exp(s(z_u^{'},z_u^{''})/\tau)}$ 尽可能小即可，即 $exp(s(z_u^{'},z_u^{''})/\tau)$ 尽可能大， $\sum_{v\in U, v\neq u }exp(s(z_u^{'},z_v^{''})/\tau)$ 尽可能小。