论文《Pre-training Graph Transformer with Multimodal Side Information for Recommendation》阅读

论文概况

本文是2020年ACMMM 上的一篇论文，通过构建item关系图，寻找项目之间的转化关系，并通过注意力机制与transformer对物品特征进行提取，最终对物品进行预处理。

Introduction

作者提出问题

• 传统的方法是通过人工特征工程来利用物品的多模态信息，它通常需要特定领域的知识，而且很耗时。且现有的解决方案只考虑了特定类型的物品侧面信息，用于专门的推荐应用。项目的全部多模态侧面信息并没有得到充分的利用。
  对于上述问题，作者提出了PMGT模型(Pre-tained Multimodal Graph Transformer )：
  (1) 构建新型图结构，挖掘物品与物品之间的多模态信息。
  (2) 创造MCNSampling算法（Mini-batch Contextual Neighbors Sampling）用于有效且可扩展的训练
  (3)采用注意力机制来聚合项目的多模态信息，并采用促进多样性的Transformer框架来模拟一个项目与其在图中的上下文邻居之间的影响。

Method

A.Contextual Neighbors Samplin

上图是物品关系图的构建方法：同一个用户购买的两个不同的物品会在图中相连，权重是两个物品被一同购买的用户数。
那么对于图中的每个点h，都存在一些可以丰富他们表达的点，我们称之为h的上下文邻居${\mathbf{C}}_h$，而h的物理邻居则称为${\mathbf{N}}_h$
下面我们将使用MCNSampling算法求出${\mathbf{C}}_h$
设初始${\mathbf{C}}_h$={h}，只包含h本身。下面将${\mathbf{C}}_h$每个元素t用${\mathbf{n}}_i$个点${{\mathbf{t}}^{\prime }}_1,{{\mathbf{t}}^{\prime }}_2$…替代（i是当前操作的轮数，${\mathbf{n}}_i$是提前设置好的参数），${{\mathbf{t}}^{\prime }}_i$属于${\mathbf{N}}_t$，且${{\mathbf{t}}^{\prime }}_i$=t’的取值概率是t与t’之间在物品图中的权重。然后将上述操作重复K轮，最终得到${\mathbf{C}}_h$
我们利用下面的公式来对${\mathbf{C}}_h$中每个结点对于h的重要性进行打分：
$$s_t^k=f_t^k\times (K-k+1)\text{\hspace{1em}(1)}$$
其中$f_t^k$是点t在第K轮${\mathbf{C}}_h$中出现的次数，k是轮数，我们可以理解为轮数越少，出现次数越多，则对于h越重要。
最终每个结点的重要程度为：
$$s_t=\sum _{k=1}^K{s}_t^k\text{\hspace{1em}(2)}$$

B. Node Embedding Initialization

得到的${\mathbf{C}}_h$取重要程度最高的n个点与目标点h组成新的集合S，${\mathrm{x}}_t^i$属于S ，对S中的所有点进行线性变换，并通过注意力机制提取物品特征。
$$\begin{array}{c}{\mathrm{X}}_t^i={\mathrm{x}}_t^i{\mathbf{W}}_M^i+{\mathrm{b}}_M^i,1\le i\le m\\ {\mathrm{X}}_t={\mathrm{X}}_t^1\oplus {\mathrm{X}}_t^2\oplus \cdots \oplus {\mathrm{X}}_t^m,\\ {\alpha }_t=\mathrm{softmax}\left[\tanh \left({\mathrm{X}}_t\right){\mathbf{W}}_s+{\mathrm{b}}_s\right],{\mathbf{M}}_t={\sum }_i^m{\alpha }_t^i{\mathrm{X}}_t^i,\end{array}\text{\hspace{1em}(3)}$$
其中W与b都是可学习变量，然后根据节点在S集合中的位置进行位置向量嵌入（位置越靠前说明对于h来说该节点越重要）
$${\mathbf{P}}_t=\mathbf{P}-\text{ Embedding }[p(t)]\text{\hspace{1em}(4)}$$
再根据节点的角色进行节点角色向量嵌入（就是将S中的原节点h突出，让h在接下来的聚合中取得更大的权重）
$${\mathbf{R}}_t=\mathbf{R}-\text{ Embedding }[r(t)]\text{\hspace{1em}(5)}$$
然后将得到的三个向量嵌入求和，得到S中每个结点的初步向量表示，该向量表示融合了多模态信息、位置信息、角色信息
$${\mathrm{H}}_t^0=\text{ Aggregate }\left({\mathrm{M}}_t,{\mathrm{P}}_t,{\mathrm{R}}_t\right)\text{\hspace{1em}(6)}$$

C. Transformer-based Graph Encode

接下来我们计划通过自注意力机制来提取S的整体特征：
$$\begin{array}{c}{\mathrm{H}}^{\ell }=\mathrm{FFN}\left[\mathrm{softmax}\left(\frac{{\mathrm{QK}}^{\top }}{\sqrt{d_h}}\right)\mathrm{V}\right]\\ \mathrm{Q}={\mathrm{H}}^{\ell -1}{\mathrm{W}}_Q^{\ell },\mathrm{K}={\mathrm{H}}^{\ell -1}{\mathrm{W}}_K^{\ell },\mathrm{V}={\mathrm{H}}^{\ell -1}{\mathrm{W}}_V^{\ell },\end{array}\text{\hspace{1em}(7)}$$
其中，K、Q、V是可学习参数然而作者认为这种自注意力的做法实际上会损失S中的特征多样性。
因此，在上式基础上我们进行改进
$$\begin{array}{c}\mathrm{S}={\mathrm{H}}^{\ell -1}{\mathrm{W}}_S^{\ell },\\ {\mathrm{U}}_1=\mathrm{softmax}\left(\mathrm{E}-\frac{{\mathrm{SS}}^{\top }}{\Vert \mathrm{S}{\Vert }_2\Vert \mathrm{S}{\Vert }_2^{\top }}+\mathrm{I}\right),\end{array}\text{\hspace{1em}(8)}$$
$$\begin{array}{c}{\mathbf{U}}_2=\mathrm{softmax}\left(\frac{{\mathrm{QK}}^{\top }}{\sqrt{d_h}}\right),\\ {\mathbf{H}}^{\ell }=\mathrm{FFN}\left[\left(\beta {\mathbf{U}}_1+(1-\beta ){\mathrm{U}}_2\right)\mathrm{V}\right],\end{array}\text{\hspace{1em}(9)}$$
${\mathrm{W}}_S^{\ell }$是可学习参数，E是单位矩阵，$\frac{{\mathrm{SS}}^{\top }}{\Vert \mathrm{S}{\Vert }_2\Vert \mathrm{S}{\Vert }_2^{\top }}$其实是在计算S内节点的相似度，相似度越大${\mathrm{U}}_1$权重越小，因此能保留特征多样性。

D.Model Optimization

优化方程：
$$\begin{array}{rl}{\mathcal{L}}_{\text{edge }}=& \frac{1}{|\mathcal{V}|}\sum _{h\in \mathcal{V}}\frac{1}{\left|{\mathcal{N}}_h\right|}\sum _{t\in {\mathcal{N}}_h}[-\log \left(\sigma \left(\frac{{\mathbf{h}}^{\top }\mathbf{t}}{\Vert \mathbf{h}{\Vert }_2\Vert \mathbf{t}{\Vert }_2}\right)\right)\\ & -Q\cdot {\mathbb{E}}_{t_n\sim P_n(t)}\log \left(\sigma \left(-\frac{{\mathbf{h}}^{\top }{\mathbf{t}}_n}{\Vert \mathrm{h}{\Vert }_2{\Vert {\mathbf{t}}_n\Vert }_2}\right)\right)]\end{array}\text{\hspace{1em}(10)}$$
$${\mathcal{L}}_{\text{feature }}=\frac{1}{|\mathcal{V}|}\sum _{h\in \mathcal{V}}\frac{1}{\left|{\mathcal{M}}_h\right|}\sum _{t\in {\mathcal{M}}_h}\sum _i^m{\Vert {\mathrm{H}}_t^L{\mathbf{W}}_r^i-{\mathrm{x}}_t^i\Vert }_2^2\text{, }\text{\hspace{1em}(11)}$$
$${\mathcal{L}}_{\text{edge }}+\lambda {\mathcal{L}}_{\text{feature }}\text{\hspace{1em}(12)}$$
（11）就是让最终得到的物品嵌入与各个模态的嵌入不要相差太多，（10）则是让得到的物品嵌入与邻居物品更相似（？）

总结

该文章仍然是通过多模态来对下游模型的物品嵌入做一个预处理，模型中包含很多元素，也挖掘了更多的多模态信息。可以看出有一定工作量，而且方法也可以适用于大多数模型。