基于GNN网络的session推荐模型（知识图谱技术在推荐场景的应用）

今天的博客主要参考了2019年AAAI的论文《Session-based Recommendation with Graph Neural Networks》和2020年SIGIR的论文《Global Context Enhanced Graph Neural Networks for Session-based Recommendation》。

主要讲解了如何利用当下最火的GNN模型辅助Session-based 下的行为序列建模。所谓Session-based 场景下的推荐模型建模，其实就是利用用户在$t-1$时间范围内的行为点击item序列，来预测在t时刻的点击商品。其实问题本身还是比较清楚的。常规的做法也很简单，因为问题本质上就是行为序列建模问题，就想NLP对句子处理一样，利用LSTM、GRU这些类RNN序列模型是非常合适的。

但是，作者分析直接这样使用，可能会有一些问题：主要是类RNN主要建模的重点是在相邻的item之间的变化，又因为基于RNN的模型天然会把注意力更多的放在序列的后半部分，使得前半部分的序列变化规律提取变的较为困难；同时在序列中，前后相距较远的item context之间的关系也是难以提取。比方说对于序列：$ACBA.....A$，假设序列中间没有出现过C，则在最后一个A点击之后，在序列前半部分出现的$AC$这样成对的序列关系就会被RNN模型轻易忽视。也就是说，对于一个点击session内的item之间关系的刻画，使用从前到后的“线性扫描”是会损失较多信息的。如何对这些同一个session内的item关系进行更好的建模和表征，这两篇paper都用到了图结构的表征方法。

下面首先讲解的论文是《Session-based Recommendation with Graph Neural Networks》。话不多说首先上整个模型的架构图：

从左到右可以看到，首先利用一个session内的数据item点击行为序列$v_1,v_2,...v_n$构建session级别的有向graph网络（具体graph是否有向，根据具体的问题来定，并不是说一定要构造有向的网络）。具体的构建方法也是非常直观，网络中的节点就是item，网络中的边就是item之间的访问关系，即有用户的访问序列$v_1,v_3,v_7,v_1$，那么将$ite{m}_1->ite{m}_3,ite{m}_3->ite{m}_7,ite{m}_7->ite{m}_1$的边权加1。将网络使用临接矩阵A表示，则有如下图所示的形式：

从表中我们可以看到，针对从某个点作为出边或者入边的边权重都使用了归一化的处理方法。假设$v_i^t$代表了节点$i$在$t$时刻的向量表征，A代表了session级graph的临接矩阵，作者借鉴了GRU模型中门结构的设计思路，提出了以下的变换公式：
$a_i^t=A_i^T[v_1^{t-1},...,v_n^{t-1}{]}^T+b$
$z_i^t=\sigma (W_z.a_i^t+U_z{v}_i^{t-1})$
$r_i^t=\sigma (W_r.a_i^t+U_r{v}_i^{t-1})$
$c_i^t=tanh(W_o{a}_i^t+U_o(r_i^t⨀v_i^{t-1}))$
$v_i^t=(1-z_i^t)⨀v_i^{t-1}+z_i^t⨀c_i^t$
按照公式的计算，就能从graph session中节点在t-1时刻的表征得到其在t时刻的表征。

在得到了一个session各个节点的最新表征之后，由于最终的目的是要预测用户在基于当前的session点击行为之后最可能点击的商品，接下来就要对整个session序列进行编码了。在这个部分作者就提出了long-term interest 和 current session interest这两个概念，假设用户的点击序列在进行了基于graph session网络的GNN操作之后得到的embedding序列为$[v_1,v_2,v_3,...v_n]$。

那么作者简单的将current session interest定义为点击序列的最后一个元素即$s_{local}=v_n$；
对于long-term interest部分的提取，即借鉴了attention思想，使用$v_n$作为key和序列中每一个元素计算相关联程度，最终的加权求和即是long-term interest的表征。公式如下：
${\alpha }_i=q^T\sigma (W_1{s}_{local}+W_2{v}_i+c)$
$s_{global}={\sum }_{i=1}^m{\alpha }_i{v}_i$

最终$s_{total}=W[v_{local};v_{global}]$。
由于该问题本质还是召回问题，在得到了序列的表征向量$s_{total}$之后，将其和候选集的商品$v_i$构建损失函数，即$Loss=y_i\ast -log(softmax(s_{total}\ast v_i)))$。

第二篇要讲解的paper《Global Context Enhanced Graph Neural Networks for Session-based Recommendation》其实是上一篇工作的进一步扩展。虽然上一篇paper利用了session内的商品点击序列构建了graph，但是其构建graph所依赖的数据仅仅依靠了当前要预测session内的商品数据，即偏local的信息。而全局的考虑了所有session 内商品点击行为的global context却没有使用，而这部分全局的global信息对目标session信息的提取和预测都是有较大好处的。

整个模型结构图如下图所示：

从整体流程来看，输入目标session之后，分别从当前分析的session中构建graph以及从global context中构建graph，得到序列中每个节点在两个视角下的不同表征，再将其进行融合。

Global graph
在构建global graph的时候，先定义一个$\mu$，对于同一个序列，任意两个结点想构造连边时，这两个结点之间的单位距离必须小于$\mu$。构造得到的图是带权无向图。连边权重使用共现的次数来表示。对每个结点，只保留Top-N权重的边。和Top-N机制的目的都是为了减小复杂度，如果序列所有结点之间做全连接，那么构造得到的图的边规模会非常庞大。提取全局图上的物品表征的主要好处是能够借鉴其它session中和目标session相关的有用信息。因此，这里头的关键点是，如何衡量全局图上的信息是否和目标session序列相关，是否对目标结点的表征有作用。

为了实现这一点，作者提出了一种session-aware的注意力机制，计算global-graph上和$v_i$相邻的结点$v_j$的贡献值$\pi (v_i,v_j)$。其中$\pi (v_i,v_j)$的计算公式如下所示：
$\pi (v_i,v_j)=softmax(q^{T}LeakyRelu(W[s⨀h_{v_j};w_{ij}]))$
其中，s是目标序列的表征，是目标序列中所有结点的mean pooling结果，即$s=\frac{1}{|s|}{\sum }_{v_i\in S}{h}_{v_i}$。$h_{v_i}$是结点的表征；$w_{ij}$是结点和在global graph上的连边权重。这个公式的好处是把目标序列S，邻居结点$v_j$以及目标结点$v_i$和$v_j$的亲和度$w_{ij}$都考虑进去了，求出来的注意力值能够衡量global-graph上的邻居结点$v_j$和目标session序列是否相关，对目标结点的表征是否有用。softmax在的所有邻居结点上求一个概率分布。这个注意力机制是此部分的主要亮点,剩余的步骤就是常规的加权邻域汇聚结点并叠加多层来提取global-graph上多阶的结点关系。
$h_{N_{v_i}}^g={\sum }_{v_j\in h_{N_{v_i}}^g}\pi (v_i,v_j)h_v$
最后通过信息汇聚和自身的信息融合起来，得到目标节点$v_i$在global context视角下的表征形式$h_{v_i}^g=Relu(W[h_i{;}_{N_{v_i}}^g])$

current session Graph
current session level的物品表征就是从session-graph中和目标结点相邻的邻域结点中提出信息。这里头的主要亮点就是注意力机制的设计,在计算序列中结点之间的attention值时，attention的设计考虑了结点之间的4种连边类型（即：出度，入度，自连接，双向），即：edge-type specific attention机制。
${\alpha }_{ij}=softmax(LeakyRelu({\alpha }_{r_{ij}}^T(h_{v_i}⨀h_{v_j})))$
$r_{ij}$是序列中的两个结点$v_i$和$v_j$连边类型，${\alpha }_{ij}$是该连边类型特定的参数向量。根据该注意力值加权汇聚邻域结点。由于有自连接边，所以加权汇聚的过程中实际上相当于同时做了信息传播和信息汇聚。
$h_{v_i}^{current}={\sum }_{v_j\in N_{v_i}^{current}}{\alpha }_{ij}{h}_{v_j}$

最终，每个结点的表征是global-level的表征和current session-level的表征sum pooling的结果，即图中加号的部分。具体而言，作者对global-level的表征加了一层dropout来防止过拟合。即：
$h_{v_i}^{final}=dropout(h_{v_i}^g)+h_{v_i}^{current}$

得到了序列中每个结点的表征后，需要对序列中的每个结点表征进行汇聚，从而形成序列表征。以下几个点是需要重点关注的：

1 位置ID的embedding编码。首先在序列结点$v_i$的表征$h_{v_i}^{final}$中融入了位置信息。位置编码包括顺序编码和逆序编码，二者存在差异的原因主要在于，不同序列的长度是不一样的。因此肯定会设置一个最大编码长度参数，大于这个最大编码长度的就是取默认编码值。此时，顺序编码会导致部分长序列末尾的位置编码都是默认值，逆序编码会导致部分长序列头部的位置编码都是默认的。作者特意强调了逆序编码更有用,这其实是非常符合直觉的。
$z_i=tanh(W[h_{v_i}^{final};p_{l-i+1}]+b)$
其中$p_{l-i+1}$代表了位置的embedding表征，$l$代表了最大编码长度。

2 然后对序列中的结点表征作mean pooling得到session information，可以认为是这个session序列浓缩后的信息。$s_{summary}=\frac{1}{l}{\sum }_{i=1}^l{h}_{v_i}^{final}$

这个session information作为序列attention的trigger去和序列中的每个结点做soft attention，得到表示每个结点对序列表征的贡献度值。作者称这种注意力机制为position-aware attention($z_i$中融入了位置信息，这个和上一篇paper的工作是比较大的差异点，上一篇paper中用的last item作为trigger去做attention）。根据该值加权每个结点的表征，最终得到序列的表征。
${\beta }_i=q^T\sigma (W_1{z}_i+W_2{s}_{summary}+b)$
$S={\sum }_{i=1}^l{\beta }_i{h}_{v_i}^{final}$

最后当得到了整个用户点击序列的表征之后，和上一篇paper一样，通过和其他商品内积的softmax方式构造损失函数，完成最终模型的训练过程。

这两篇paper都可以看做是知识图谱在推荐领域的相关应用。确实，最近知识图谱这个概念炒的比较火，接下来的一段时间，我会不断跟进这个方向，期望能看到更多在工业界落地应用的成果案例。