论文《Session-based Social Recommendation via Dynamic Graph Attention Networks》阅读

论文概况

本文是2019年WSDM上的一篇论文，该篇文章聚焦于使用RNN、GNN、注意力机制来解决会话社交推荐问题

Introduction

作者提出了几个问题

• 用户兴趣是不断变化的，同时用户兴趣也受到朋友影响
• 当前推荐方法只关注用户动态兴趣或者社交影响，没有一个方法将他们们同时考虑

对于上述问题，作者提出了新的推荐方法：（1）同时学习用户动态兴趣与社交影响（2）提出了一种新的基于动态图注意网络的推荐方法，用于建模动态用户兴趣和上下文相关的社交影响,该方法可以有效地扩展到大型数据集（3）使用双线性函数来捕获项目之间的特征相关性。

Method

A.Dynamic Individual Interests

设用户为U，每个用户都有连续的会话集$I_T^u=\left\{{\vec{S}}_1^u,{\vec{S}}_2^u,\dots ,{\vec{S}}_T^u\right\}$每个会话中包含若干项目$\left\{i_{t,1}^u,i_{t,2}^u,\dots ,i_{t,N_{u,t}}^u\right\}$对于用户u，给定新的对话${\vec{S}}_{T+1}^u=\left\{i_{T+1,1}^u,\dots ,i_{T+1,n}^u\right\}$
利用RNN来获取用户动态兴趣的表征
$$h_n=f\left(i_{T+1,n}^u,h_{n-1}\right)\text{\hspace{1em}(1)}$$
利用LSTM来按顺序整合近期会话项目
$$\begin{array}{rl}{x}_n& =\sigma \left({\mathbf{W}}_x\left[h_{n-1},i_{T+1,n}^u\right]+b_x\right)\\ f_n& =\sigma \left({\mathbf{W}}_f\left[h_{n-1},i_{T+1,n}^u\right]+b_f\right)\\ o_n& =\sigma \left({\mathbf{W}}_o\left[h_{n-1},i_{T+1,n}^u\right]+b_o\right)\\ {\tilde{c}}_n& =\tanh \left({\mathbf{W}}_c\left[h_{n-1},i_{T+1,n}^u\right]+b_c\right)\\ c_n& =f_n\odot c_{n-1}+x_n\odot {\tilde{c}}_n\\ h_n& =o_n\odot \tanh \left(c_n\right)\end{array}\text{\hspace{1em}(2)}$$

B.Representing Friends’ Interests

朋友的兴趣也分为短期兴趣和长期兴趣，二者都会影响用户喜好。
短期喜好还是用近期会话通过RNN来计算
$$s_k^s=r_{N_{k,T}}=f\left(i_{T,N_{k,T}}^k,r_{N_{k,T-1}}\right)\text{\hspace{1em}(2)}$$
因为长期兴趣不随时间发生巨大变动，我们用一个单独的向量来表示长期兴趣，利用用户嵌入来表示用户k的长期兴趣
$$s_k^l={\mathbf{W}}_u[k,:]\text{\hspace{1em}(3)}$$
使用非线性变换连接朋友的短期和长期偏好
$$s_k=\mathrm{ReLU}\left({\mathbf{W}}_1\left[s_k^s;s_k^l\right]\right)\text{\hspace{1em}(4)}$$

C.Context-dependent Social Influences

首先构建会话图，单纯的待预测用户作为中心点连接所有朋友，也没有权重关系。待预测用户的初始向量为$h_u^{(0)}=h_n$，其余朋友点的初始向量为$\left\{h_k^{(0)}=s_k,k\in N(u)\right\}$每一轮GNN利用用户与朋友喜好的相似度来计算注意力，得到用户的社交影响
α u k ( l ) = exp ⁡ ( f ( h u ( l ) , h k ( l ) ) ) ∑ j ∈ N ( u ) ∪ { u } exp ⁡ ( f ( h u ( l ) , h j ( l ) ) ) (5) \alpha_{u k}^{(l)}=\frac{\exp \left(f\left(h_{u}^{(l)}, h_{k}^{(l)}\right)\right)}{\sum_{j \in N(u) \cup\{u\}} \exp \left(f\left(h_{u}^{(l)}, h_{j}^{(l)}\right)\right)}\tag{5} αuk(l)​=∑j∈N(u)∪{u}​exp(f(hu(l)​,hj(l)​))exp(f(hu(l)​,hk(l)​))​(5)
h ~ u ( l ) = ∑ k ∈ N ( u ) ∪ { u } α u k ( l ) h k ( l ) (6) \tilde{h}_{u}^{(l)}=\sum_{k \in N(u) \cup\{u\}} \alpha_{u k}^{(l)} h_{k}^{(l)}\tag{6} h~u(l)​=k∈N(u)∪{u}∑​αuk(l)​hk(l)​(6)

D.Recommendation

将短期兴趣与社交影响级联，得到用户最终的兴趣
$${\hat{h}}_n={\mathbf{W}}_2\left[h_n;h_u^{(L)}\right]\text{\hspace{1em}(7)}$$
利用该向量对其他物品做点积进行用户兴趣预测
$$p\left(y\mid i_{T+1,1}^u,\dots ,i_{T+1,n}^u;\left\{{\vec{S}}_T^k,k\in N(u)\right\}\right)=\frac{\exp \left({\hat{h}}_n^{\top }{z}_y\right)}{{\sum }_{j=1}^{|I|}\exp \left({\hat{h}}_n^{\top }{z}_j\right)}\text{\hspace{1em}(8)}$$
目标函数为
$$\sum _{u\in U}\sum _{t=2}^T\sum _{n=1}^{N_{u,t}-1}\log p\left(i_{t,n+1}^u\mid i_{t,1}^u,\dots ,i_{t,n}^u;\left\{{\vec{S}}_{t-1}^k,k\in N(u)\right\}\right)$$

总结

该方法使用RNN计算短期兴趣、简单GNN来进行朋友兴趣的传播，整体方法较为简单。
一点改进意见：该方法考虑了用户短期兴趣、朋友的社交影响但没有考虑用户的长期兴趣，不知道如果在最后级联时加入用户嵌入会不会让效果更好