Learning to Denoise Unreliable Interactions for Graph Collaborative Filtering

RGCF：Learning to Denoise Unreliable Interactions for Graph Collaborative Filtering论文阅读

日期、期刊

** 22, July 11–15, 2022** SIGIR

背景

近年来，图神经网络( GNN )作为一种有效的协同过滤( CF )方法被成功应用于推荐系统。然而，现有的基于GNN的CF模型会受到用户-项目交互数据的干扰，严重影响了其在实际应用中的有效性和鲁棒性。虽然已有一些关于推荐系统中数据去噪的研究，但要么忽略了噪声交互对GNN消息传播的直接干预，要么在去噪时未能很好地保留推荐的多样性。

文章要解决的问题和文章创新点

1. 现有的基于GNN的CF推荐系统会收到用户和项目交互数据的干扰，这严重影响了在实际应用中的有效性和鲁棒性；
2. 具体而言存在的主要问题有以下两个方面：
   1. 先前的研究缺少在GNN学习的过程中没有直接干预表征的学习，因此，即使单个节点本身的噪声降低到一定程度，来自邻域的聚合噪声的全局影响仍然是不可控的。
   2. 在去噪交互数据中存在纯度（用户偏好）和多样性之间的权衡，现有方法主要强调数据去噪对纯度的影响，而较少考虑去噪带来的副作用，这往往会削弱推荐的多样性，甚至导致信息茧房。
3. 本文提出了一种新的基于GCN的CF模型用于推荐系统，即RGCF，为推荐系统去除噪声。
4. 首先文章通过为消息传递(图像去噪模块)识别更可靠的交互来直接改进图结构学习。其次文章通过关联从去噪的交互数据和多样性增强数据中学习到的用户偏好来进一步增强推荐的多样性。
   1. 简而言之具体去除噪音的流程为：1.丢弃自信认为是噪声的信息2. 为剩余链路分配可靠性权重。
   2. 对于多样性保持，1.文章考虑为交互图融入一个多样性增强视图，并设计了一个基于互信息最大化的辅助自监督任务；
      

模型

模型主要由两大部分组成：分别是去除噪声模块和保护多样性的模块；

去除噪声模块：

参数含义:
Eu表示用户的特征集合、Ei项目的特征集合、R表示用户和项目之间有没有交互的信息矩阵，类似交互图的邻接矩阵、$h_U^s$表示$H_U^s=R{E}_I$第u个向量以此类推、$\beta$超参数、I（）二元指示函数、$\tilde{G}$去噪之后的图表示、给定用户项目交互数据R，可以从中得出用户和项目之间的交互图G
计算流程：

1. 用户项目交互可靠度的计算
   1. 首先转换通过R将两个特征矩阵转换到统一个特征空间之中：公式如下所示

$H_U^s=R{E}_I,H_U^s=R{E}_U$

2. 将$h_u^s$和$h_s^i$向量做余弦相似度，以此来表示用户u和项目I之间的交互作用的可靠度，公式如下所示：

$\cos (h_u^s,h_i^s)=\frac{h_u^s{}^T{h}_i^s}{{\Vert h_u\Vert }_2\cdot {\Vert h_v\Vert }_2}$

3. 经过上述的计算之后得出的值不能够直接的作为交互作用的可靠度，因为这种也存在这负数，通过这种方式估计的交互图的边权重，可以从暗示了用户和项目之间的交互可靠度，转换公式如下所示：

$s_{u,i}=(\cos (h_u^s,h_i^s)+1)/2$

2. 在计算完毕交互可靠度之后，将得到的交互可靠度通过以下的方式转换为交互图的权重，由此来对于去除用户和项目之间的交互噪声；

${\tilde{r}}_{u,i}=I(s_{u,i}>\beta )\cdot s_{u,i}$

多样性增强模块

构建多样性图模块
构建的步骤包括两大步骤：随机抽样和可靠性感知选择；

1. 随机采样：以概率ρ均匀地采样一组没有交互的用户-项目对，c是随机在每一个训练阶段随机采样的， C = S a m p l e ( { ( u , i ) ∣ u ∈ U , i ∈ I , r u , i = 0 ∣ ρ } ) C=Sample(\left \{ (u,i)\left | u\in U,i\in I,r_{u,i}=0 \right |\rho \right \} ) C=Sample({(u,i)∣u∈U,i∈I,ru,i​=0∣ρ})，在选择候选对的时候从候选集C中通过如下公式来挑选候选的加入到交互图中；

$\ddot{r}=I(s_{u,i}\in top-M(S))\cdot s_{u,i}$

2. 保护多样性模块

给定构造的多样性增广图G，我们可以用GNN 学习相应的节点嵌入。然而，在G中添加了未观察到的相互作用，从G中学习到的嵌入很可能偏离从去噪的相互作用图G-1中学习到的嵌入，因此为了平衡建模原始图结构的准确性和建模用户偏好的多样性，我们设计了一个基于互信息最大化的辅助自监督任务来拉近两种节点表示并在两者之间进行权衡。其中讲去噪止之后的图结构信息和加入多样性保护之后的图结构信息作为MIM算法的X and Y进行计算，由于直接采用MIM算法是难以解决的，因此这里本文采用了一种对比损失的方式来对于算法进行优化，其中流程如下所示：
首先经过一个权重共享的GNN（文中使用的是LightGCN）进行计算得出新的项目和用户的表示
${\ddot{H}}_U,{\ddot{H}}_I=GNN(H_U^{(0)},H_I^{(0)},\ddot{G}){\tilde{H}}_U,{\tilde{H}}_I=GNN(H_U^{(0)},H_I^{(0)},\tilde{G})$
优化：文中使用的是InfoNCE损失计算方法进行对于MIM算法优化，在优化中对于每一个用户来说去噪之后的特征和增加多样性之后的特征被认定的是一个anchor和positive sample，其他用户的特征表示被认为是negative sample，优化公式如下所示：
$L_{DIV}=-{\sum }_{u，v\in U}^{}log\frac{exp(f({\tilde{h}}_u,{\ddot{h}}_u/\tau ))}{exp(f({\tilde{h}}_u,{\ddot{h}}_u/\tau ))+{\sum }_{v\ne u}^{}exp(f({\tilde{h}}_u,{\ddot{h}}_v/\tau ))}$

针对于CF的图神经网络

参数含义：$N_u，N_i$代表一层之间关于用户u和项目i、${\tilde{h}}_{(i)}^k,{\tilde{h}}_{(u)}^k$代表用户经过k层神经网络之后的用户u和项目i的项目嵌入表示、${\alpha }_k$是超参数代表每一层的重要性、
在这一部分中，

1. 首先，文章使用了LightGCN作为图神经网络来学习用户和项目的编码嵌入，其中公式如下所示：

${\tilde{h}}_u^{(k)}={\sum }_{i\in N_u}^{}\frac{{\tilde{r}}_{u,i}}{{\sum }_{j\in N_u}^{}{\tilde{r}}_{u,j}}\widetilde{h_i^{(k-1)}}，{\tilde{h}}_i^{(k)}={\sum }_{u\in N_i}^{}\frac{{\tilde{r}}_{u,i}}{{\sum }_{j\in N_i}^{}{\tilde{r}}_{j,i}}\widetilde{h_u^{(k-1)}}$

2. 在经过K层神经元的消息传播之后，最后图神经网络输出最后的表示，最后的表示形式如下所示：

${\tilde{h}}_u={\sum }_{k=0}^K{\alpha }_k{\tilde{h}}_u^{(k)}，{\tilde{h}}_i={\sum }_{k=0}^K{\alpha }_k{\tilde{h}}_i^{(k)}$
训练损失函数:
$L_{BPR}={\sum }_{u\in U}^{}{\sum }_{i\in N_u}^{}{\sum }_{j\in I,i\ne N_u}^{}-log\sigma ({\hat{y}}_{u,i}-{\hat{y}}_{u,j})$

模型训练

模型中存在两个模块，即去噪模块和，多样性保护模块，多样性保护模块中又存在一个自监督的任务，因此在模型训练的时候，采用多任务学习的策略。这里首先给出模型的损失函数如下所示：第一个损失函数加上对比损失函数乘以超参数再加上超参数乘以模型的参数（这一点我不是很明白）
$L=L_{BPR}+{\lambda }_1{L}_{DIV}+{\lambda }_2{\Vert \omega \Vert }_2^2$

点

1. 基于CF的GNN推荐模型在用户和项目的交互之间存在的噪声是指的是：错误/粗心的偏好选择，不可避免地会给观测到的交互数据引入噪声
2. 为什么基于GNN的推荐系统都必要的需要去除在项目和用户之间的噪声？
   1. 因为基于GNN模型的推荐系统主要是通过项目和用户之间的交互来，确定用户和项目网络图
   2. 而GNN通过迭代地聚合邻域信息而采用消息传递机制，这容易放大噪声交互对表示学习的影响。
3. 多任务学习策略：有多个目标函数loss同时学习的就算多任务学习。
4. 同质性理论：具有相似特征或结构角色的节点比具有不同特征或结构角色的节点更有可能进行交互。
5. 预测的损失函数LBPR要使用里面相减的方式来计算损失？
6. 为什么最后的模型训练过程中的损失函数需要使用最后的呢个模型的参数？