论文《Graph-Refined Convolutional Network for Multimedia Recommendation with Implicit Feedback》阅读

论文概况

本文是2021年ACMMM 上的一篇论文，该篇文章将对用户-物品交互图进行提纯，来更好的进行推荐。（有点拉跨，模型就是GAT+GNN+生硬的多模态）

Introduction

作者提出问题

• 用户点击的物品中很可能包含用户不感兴趣的物品（因为误点或者随便看看等原因），这部分假positive物品会对真positive物品信息传播产生影响，减少推荐系统的推荐准确性
  对于上述问题，作者提出了GRCN模型(Graph-Refined Convolutional Network)：(1) 探讨了隐性反馈对基于GCN的推荐模型的影响。
  (2) 开发了一种新的方法GRCN，它可以自适应地改进用户-项目交互图的结构，以利用GNN在推荐任务中的应用

Method

A.Model Framework

首先将物品嵌入线性投影
$${\overline{\mathbf{i}}}_m=relu\left({\mathbf{W}}_m{\mathbf{i}}_m+{\mathbf{b}}_m\right)\text{\hspace{1em}(1)}$$
其中${\mathbf{W}}_m\in {\mathbb{R}}^{D^{\prime }\times D_m}$,${\mathbf{b}}_m\in {\mathbb{R}}^{D^{\prime \times 1}}$是可学习参数,${\mathbf{i}}_m$是物品嵌入
然后利用注意力机制来计算每个用户邻接结点的权重
$$p_{u,i}=\frac{\exp \left({\overline{\mathbf{i}}}^{\mathrm{T}}{\mathbf{u}}_{(0)}\right)}{{\sum }_{j\in \mathcal{N}(u)}\exp \left({\overline{\mathrm{j}}}^{\mathrm{T}}{\mathbf{u}}_{(0)}\right)},\text{\hspace{1em}(2)}$$
其中，i,j分别是用户邻接的物品节点嵌入。
用户新一轮的嵌入表示为上一轮的嵌入加上邻接物品的加权和
$${\mathbf{u}}_{(1)}={\mathbf{u}}_{(0)}+\sum _{i\in \mathcal{N}(u)}{p}_{u,i}\overline{\mathbf{i}},\text{\hspace{1em}(3)}$$
因此，第t轮的用户嵌入为：
$$\{\begin{array}{l}{\mathbf{u}}_{(t)}={\mathbf{u}}_{(t-1)}+{\sum }_{i\in \mathcal{N}(u)}{p}_{u,i}\overline{\mathbf{i}},\\ p_{u,i}=\frac{\exp \left({\mathrm{i}}^{\mathrm{T}}{\mathbf{u}}_{(t-1)}\right)}{{\sum }_{j\in \mathcal{N}(u)}\exp \left({\mathbf{j}}^{\mathrm{T}}{\mathbf{u}}_{(t-1)}\right)}.\end{array}\text{\hspace{1em}(4)}$$
相对的，对于用户u来说i的权重、对于物品i来说u的权重分别为，
$$\{\begin{array}{l}{\bar{s}}_{u\leftarrow i}^m=\frac{\exp \left({\overline{\mathbf{u}}}_m^{\mathrm{T}}{\overline{\mathbf{i}}}_m\right)}{{\sum }_{j\in \mathcal{N}(u)}\exp \left({\mathbf{u}}_m^{\mathrm{T}}{\overline{\mathbf{j}}}_m\right)}\\ {\bar{s}}_{i\leftarrow u}^m=\frac{\exp \left({\overline{\mathbf{i}}}_m^{\mathrm{T}}{\overline{\mathbf{u}}}_m\right)}{{\sum }_{v\in N(i)}\exp \left({\overline{\mathbf{i}}}_m^{\mathrm{v}}{\overline{\mathbf{v}}}_m\right)}\end{array}\text{\hspace{1em}(5)}$$
其中，${\mathbf{u}}_m$表示在m模态下用户的嵌入，${\mathbf{i}}_m$表示在m模态下物品的嵌入，在本论文中m可取{v,a,t}
为了结合多个模态下的权重，我们引入
$$\rho =\left[{\rho }^v,{\rho }^a,{\rho }^t\right],\text{\hspace{1em}(6)}$$
通过加权后取所有模态中权重的最大值来确定最终权重
$$\{\begin{array}{l}{s}_{u\leftarrow i}=\max \left({\rho }_u^v{\bar{s}}_{u\leftarrow i}^v,{\rho }_u^a{\bar{s}}_{u\leftarrow i}^a,{\rho }_u^t{\bar{s}}_{u\leftarrow i}^t\right),\\ s_{i\leftarrow u}=\max \left({\rho }_i^v{\bar{s}}_{i\leftarrow u}^v,{\rho }_i^a{\bar{s}}_{i\leftarrow u}^a,{\rho }_i^t{\bar{s}}_{i\leftarrow u}^t\right).\end{array}\text{\hspace{1em}(7)}$$
物品和用户的迭代更新算法如下，即对邻接节点加权求和
$$\{\begin{array}{l}{\mathbf{e}}_u^{(l)}={\sum }_{i\in \mathcal{N}(u)}{s}_{u\leftarrow i}{\mathbf{e}}_i^{(l-1)},\\ {\mathbf{e}}_i^{(l)}={\sum }_{u\in \mathcal{N}(i)}{s}_{i\leftarrow u}{\mathbf{e}}_u^{(l-1)}.\end{array}\text{\hspace{1em}(8)}$$
将L层的节点向量相加，作为当前状态下的物品、用户嵌入
$${\mathbf{e}}_u=\sum _{l=0}^L{\mathbf{e}}_u^{(l)},{\mathbf{e}}_i=\sum _{l=0}^L{\mathbf{e}}_i^{(l)}\text{\hspace{1em}(9)}$$
将得到的嵌入与各个模态下的物品、用户嵌入级联，得到最终的用户向量和物品向量
$$\{\begin{array}{l}{\mathbf{e}}_u^{\ast }={\mathbf{e}}_u\Vert {\overline{\mathbf{u}}}_v\Vert {\overline{\mathbf{u}}}_a\Vert {\overline{\mathbf{u}}}_t,\\ {\mathbf{e}}_i^{\ast }={\mathbf{e}}_i\Vert {\overline{\mathbf{i}}}_v\Vert {\overline{\mathbf{i}}}_a\Vert {\overline{\mathbf{i}}}_t,\end{array}\text{\hspace{1em}(10)}$$
用户向量乘物品向量即可对物品进行打分
$$y_{u,i}=e_u^{\ast T}{e}_i^{\ast }\text{\hspace{1em}(11)}$$

B. Optimization

优化公式为
T = { ( u , i , j ) ∣ A u , i = 1 , A u , j = 0 } , (12) \mathcal{T}=\left\{(u, i, j) \mid \mathbf{A}_{u, i}=1, \mathbf{A}_{u, j}=0\right\},\tag{12} T={(u,i,j)∣Au,i​=1,Au,j​=0},(12)
$$\mathcal{L}=\sum _{(u,i,j)\in \mathcal{T}}-\ln \varphi \left(y_{u,i}-y_{u,j}\right)+\lambda \Vert \theta {\Vert }_2\text{\hspace{1em}(13)}$$
实际上就是将positive物品选中，而不选择negative物品

总结

GRCN模型太简单了点，只能说文章写得可能有点东西，但从模型看来则太浅了，多模态的运用很突兀，可解释性不强。