论文笔记|Mutual Wasserstein Discrepancy Minimization for Sequential Recommendation

Mutual Wasserstein Discrepancy Minimization for Sequential Recommendation

论文连接：Mutual Wasserstein Discrepancy Minimization for Sequential Recommendation

1 动机

基于自监督的序列推荐通过设计的数据增强方法以及最大化互信息，显著低提升推荐系统的性能。然而基于KL散度的互信息估计方法存在一些限制。同时现在有数据增强方法大多都是随机的，这种方法可能会破坏序列的相关性。
针对上述两个问题，在本工作中作者提出了一个基于Mutual Wasserstein discrepancy minimization（Mstein）的用于序列推荐的自监督学习框架。具体来说使用Wasserstein Discrepancy Measurement 来衡量增强序列之间的互信息。作者在四个数据集上的实验结果表明， Mstein对数据扰动具有鲁棒性的同时提升了序列推荐性能。

因此本文主要contribution归纳如下：

• 提出Wasserstein Discrepancy Measurement替换KL散度作为互信息的对比下界，以缓解使用KL散度的InfoNCE对比损失的局限性。
• 提出了mutual Wasserstein discrepancy minimization的对比损失函数，并验证了其在建模增强的随机性和对扰动的稳健表示学习方面的优越性。
• 论证了在Wasserstein Discrepancy Measurement，在对齐性和均匀性得到了精确到优化。
• 在四个数据集上进行相关的实验。

2 方法

本文所提出的Mstein框架是基于S^3Rec和STOSA模型框架上实现的。因此作者首先介绍了STOSA推荐模型，模型结构如下图所示：

2.1 Stochastic Transformer for SR

为了对序列推荐中不确定的信息进行建模，STOSA在Transformer的基础上引入随机嵌入和Wassertein self-attention模块。在STOSA中将物品表示为高斯分布，其随机嵌入（stochastic embeddings）表述如下：
$${\mathbf{E}}^{\mu }={\mathrm{Emb}}_{\mu }(S^u),{\mathbf{E}}^{\sum }={\mathrm{Emb}}_{\sum }(S^u)$$
对于行为序列${\mathcal{S}}^u$中的物品$v_i$，STOSA方法使用了高斯分布来建模物品的随机嵌入，其中每个物品的embedding由均值${\mathbf{E}}^{\mu }$和方差$\mathrm{diag}({\mathbf{E}}_K^{\sum })$来参数化。Wasserstein自注意力采用了负的2-Wasserstein距离，来计算特定一对物品（𝑣𝑖 , 𝑣𝑗 ）之间的自注意力值，如下所示：
$${\mathrm{A}}_{ij}=-(W_2(v_i,v_j))=-\left(||{\mu }_{v_i}-{\mu }_{v_j}|{|}_2^2+||\sum _{v_i}^{1/2}-\sum _{v_j}^{1/2}|{|}_F^2\right)$$
其中$W_2(\cdot )$表示2Wasserstein距离，${\mu }_{ui}={\mathrm{E}}_{v_i}^{\mu }{\mathrm{W}}_K^{\mu }$，${\sum }_{vi}=\mathrm{ELU}\left(\mathrm{diag}({\hat{\mathrm{E}}}_{\mathrm{ui}}^{\sum }{\mathrm{W}}_{\mathrm{K}}^{\sum })\right)+1$。STOSA模型与transformer类似由前馈神经网络、残差连接以及layer normalization模块，因此STOAS的序列编码表示如下：
$${\mathbf{h}}_{\mathbf{u}}=({\mathbf{h}}_u^{\mu },{\mathbf{h}}_u^{\sum })=\mathrm{StosaEnc}({\mathcal{S}}^u)$$
其中${\mathbf{h}}_u^{\mu }$和${\mathbf{h}}_u^{\sum }$表示${\mathcal{S}}^u$的随机序列嵌入。对于时间步$t$，${\mathbf{h}}_{u,t}=({\mathbf{h}}_{u,t}^{\mu }{\mathbf{h}}_{u,t}^{\sum })$编码next-item的表征。STOSA的损失函数表示如下：
$${\mathcal{L}}_{rec}=\sum _{{\mathcal{S}}^u\in \mathcal{S}}\sum _{t=1}^{|{\mathcal{S}}^u|}-\log (\sigma (W_2({\mathrm{h}}_{u,t},v_t^{-})-W_2({\mathrm{h}}_{u,t},v_t^{+})))+\lambda l_{pun}$$
其中$v_t^{+}$是下一个物品的随机嵌入的ground truth，$v_t^{-}$表示负采样物品的嵌入，$l_{pun}$是STOSA中提出的损失函数。

2.2 对比损失里的InfoNCE

给定一批包含𝑁个用户序列的数据，随机数据增强会生成每个序列的两个扰动视图，从而得出在InfoNCE计算中有2$N$个序列、$N$个正样本对，以及$4N^2-2N$个负样本对。（$4N^2-2N$个负样本对是怎么算出来的？）对于包含 $N$个用户序列的批次 $\mathcal{B}$，增强后的样本对集合 $S_{\mathcal{B}}$ 如下所示：
S B = { S a u 1 , S b u 1 , … , S a u N , S b u N } S_{\mathcal B}=\{{\mathcal S^{u_1}_a,\mathcal S^{u_1}_b},\ldots,{\mathcal S^{u_N}_a,\mathcal S^{u_N}_b} \} SB​={Sau1​​,Sbu1​​,…,SauN​​,SbuN​​}
其中下标a和b表示${\mathcal{S}}^u$的两种扰动视图。给定一个增强的序列对$({\mathcal{S}}_a^{ui},{\mathcal{S}}_b^{ui})$，InfoNCE计算如下：
$${\mathcal{L}}_{cl}({\mathbf{h}}_a^{ui},{\mathbf{h}}_b^{ui})=-\log \frac{\exp (\mathrm{sim}({\mathbf{h}}_a^{ui},{\mathbf{h}}_b^{ui}))}{\exp (\mathrm{sim}({\mathbf{h}}_a^{ui},{\mathbf{h}}_b^{ui}))+{\sum }_{j\in S_{\mathcal{B}}^{-}}\exp (\mathrm{sim}({\mathbf{h}}_a^{ui},{\mathbf{h}}^j))}$$
其中${\mathbf{h}}_a^{ui}$和${\mathbf{h}}_b^{ui}$是从编码器中学到的两种扰动视图的embedding。 S B − = S B − { S a u i , S b u i } S^-_{\mathcal B}=S_ \mathcal {B^{-}}\{\mathcal S^{ui}_a,\mathcal S^{ui}_b\} SB−​=SB−​{Saui​,Sbui​}表示负样本的增强序列对。（正样本和负样本都需要增强操作？）

3 Wasserstein Discrepancy Measurement

3.1 InfoNCE and Mutual Information

对于给定用户$ui$随机增强序列$(x^u{i}_a={\mathcal{S}}^u{i}_a,x_b^{ui}={\mathcal{S}}_b^{ui})$，$(x_a^{ui},x_b^{ui})$是服从随机增强分布的随机变量。InfoNCE和$(x_a^{ui},x_b^{ui})$的互信息可以被描述为：

$I(x,y)$表示随机变量$x$和$y$之间的互信息。上述公式（7）说明了优化${\mathcal{L}}_{cl}$的同时最大化了互信息$I(x_a^{ui},x_b^{ui})>\log (2N-1)-{\mathcal{L}}_{cl}$，公式（7）同时表明当batch size N越大，互信息可以更好的被优化。

3.2 Limitation of KL Divergence

KL散度作为互信息的对比下界存在的问题包括：对样本量的指数级需求以及训练的不稳定。现有的研究表明，基于KL散度的互信息估计在具有$N$个样本上的高置信度下界，这个这个下界不超过$O(ln(N))$。而在对比学习InfoNCE上同样有这样的限制。

给定两个增强序列分布：$p(x_a)$和$p(x_b)$，$A，B$表示以N从分布$p(x_a)、p(x_b)$采样得到的增强序列集和。给定一个real-value的映射函数，以及置信参数$\delta$，在概率$1-\delta$的情况下可得:
$$D_{KL}(P(x_a),p(x_b))\ge F(A,B,\delta )$$
至少有概率$1-4\delta$:
$$\ln N\ge F(A,B,\delta )$$
因此可以得到互信息的边界是$N=\exp (I(x_a,x_b))$

4 优化和预测

$$\mathcal{L}={\mathcal{L}}_{rec}+\beta {\mathcal{L}}_{\mathrm{MStein}}$$
其中，$\beta$是用于调整对比损失和互信息Wasserstein差异最小化贡献的超参数。最终的推荐列表是通过计算序列编码分布嵌入$({\mathbf{h}}_u^{\mu },{\mathbf{h}}_u^{\sum })$与所有物品的随机嵌入之间的Wasserstein距离来生成的。对所有物品的距离按升序排序，以生成前N个物品。

5 实验结果（部分）

在文章中作者进行了不同的实验，验证了模型的性能。

6 总结

作者研究了互信息和InfoNCE之间的关系，并讨论了基于KL散度的互信息估计的局限性，包括不对称估计、对样本量的指数级需求和训练不稳定性。我们提出了一种基于Wasserstein距离的替代互信息估计选择，称为Wasserstein Discrepancy Measurement。通过提出的Wasserstein Discrepancy Measurement，我们在InfoNCE框架中制定了互Wasserstein差异最小化的方法，称为MStein。在四个基准数据集上进行的大量实验表明，使用Wasserstein Discrepancy Measurement的MStein在互信息估计中具有更高的性能。额外的稳健性分析证明了MStein对于嘈杂的交互和不同数据大小的变化更加稳健。