论文《Hierarchical User Intent Graph Network for Multimedia Recommendation》阅读

论文概况

本文是2021年ACMMM 上的一篇论文，通过构建co-item关系图，建立项目之间的关系，通过细粒度与粗粒度的信息聚合，最终对物品进行预处理。

Introduction

作者提出问题

• 现阶段模型对于物品之间转化关系的提取做的很好，但却没有重视用户意图的提取，用户意图由用户行为信息和项目内容共同组成，然而如何将异质性的两类信息结合起来是当前模型的主要挑战。其次，用户意图也是分为不同层面的，比如看电影时一些人喜欢演员或部分经典情节，而一些人则喜欢电影的整体大纲，因此用户意图也可以分为细粒度与粗粒度，而且粗粒度可以通过细粒度意图总结出来，如何建立与作者意图层次相对应的模型层次结构，也是我们需要面对的问题。
  对于上述问题，作者提出了Hierarchical User Intents Graph Network：
  (1) 提出多层次用户意图建模
  (2) 设计了一个层次化的用户意图网络来学习粗细粒度的用户意图

Method

A.Multimedia Recommendation

身为多模态推荐，我们仍然将物品分为视觉、听觉、文本三个模态并用v、a、t来代表这三个模态。每个模态都单独进行之后的粗细粒度用户意图提取，最终再将三模态得到的用户意图结合即可。

B.Intra-level Aggregation

首先，我们将一个用户浏览或购买或观看或…的物品进行连接，构建co-item图，图中由M件物品。根据co-item图，我们构建一个MxM的邻接矩阵A，构建方式如下：
$${\mathbf{A}}_{i,j}=\{\begin{array}{ll}1& \text{ if }{\mathrm{v}}_j\in \mathcal{N}\left({\mathrm{v}}_i\right)\\ 0& \text{ if }{\mathrm{v}}_j\notin \mathcal{N}\left({\mathrm{v}}_i\right),\end{array}\text{\hspace{1em}(1)}$$

所有物品的embeding设为X，那么内部信息的聚合为：
$${\mathbf{Z}}^{(l)}={\mathbf{D}}^{-\frac{1}{2}}{\mathbf{A}}^{(l)}{\mathbf{D}}^{-\frac{1}{2}}{\mathbf{X}}^{(l)}\text{\hspace{1em}(2)}$$
其中D为A的度矩阵，用于归一化。

C. Inter-level Aggregation

外部聚合则是通过将细粒度的物品（内部聚合后的物品）提取为数量更少的粗粒度物品，也就是说将图中原本的M个物品提取为数量更少且更具有用户意图代表性的N个物品。模型整体通过循环进行一次内部聚合加一次外部聚合的过程来提取多粒度多层次的用户意图。
首先，假设我们在第$l$轮迭代，那么我们需要先随机初始化$K^{(l+1)}$个超级节点$X^{(l+1)}$作为下一层的粗粒度节点个数。
$${\mathbf{X}}^{(l+1)}=\left[{\mathbf{x}}_1^{(l+1)},\cdots ,{\mathbf{x}}_k^{(l+1)},\cdots ,{\mathbf{x}}_{K^{(l+1)}}^{(l+1)}\right]\text{\hspace{1em}(3)}$$
然后利用相似度来计算粗粒度节点与细粒度节点之间的权重，以此来进行邻接矩阵A的更新。
$$e_{i,k}={\mathbf{z}}_i^{(l{)}^{\top }}\cdot {\mathbf{x}}_k^{(l+1)}\text{\hspace{1em}(4)}$$
$${\gamma }_{i,k}^{(l+1)}=\frac{\exp e_{i,k}}{{\sum }_{k^{\prime }=1}^{K^{(l+1)}}\exp e_{i,k^{\prime }}}\text{\hspace{1em}(5)}$$
其中，$z_i^{(l{)}^{\top }}$为第l轮内部聚合后的细粒度节点。
$${\mathbf{A}}^{(l)}=\{\begin{array}{ll}\mathbf{A}& l=0\\ {\mathbf{\Gamma }}^{(l{)}^{\top }}{\mathbf{A}}^{(l-1)}{\mathbf{\Gamma }}^{(l)}& \text{ otherwise }\end{array}\text{\hspace{1em}(6)}$$
其中${\mathbf{\Gamma }}^{(l)}\in {\mathbb{R}}^{K^{(l-1)}\ast K^{(l)}}$，为粗细粒度节点之间的权重。
同时，为了防止权重分配不够均匀或过于极端，我们设定损失函数
$${\mathcal{L}}_1^{(l)}=-\frac{1}{K^{(l)}}\sum _{k^{\prime }=1}^{K^{(l)}}{\gamma }_{i,k^{\prime }}^{(l)}{}^{\top }\ln {\gamma }_{i,k^{\prime }}^{(l)}\text{\hspace{1em}(7)}$$
同时为了保证用户意图的独立性，增强模型鲁棒性，我们设定损失函数：
$${\mathcal{L}}_2^{(l)}=\frac{1}{K^{(l)}}{\Vert {\mathbf{X}}^{(l{)}^{\top }}{\mathbf{X}}^{(l)}-{\mathbf{I}}^{(l)}\Vert }_2,\text{\hspace{1em}(8)}$$
其中，I为身份矩阵。

D. Interaction Prediction

然后我们计算各个物品在不同层次用户意图上所展现的特征
$$\{\begin{array}{l}{\hat{x}}_i^{(1)}=x_i^{\top }{\Gamma }^{(1)},\\ {\hat{x}}_i^{(2)}={\hat{x}}_i^{(1)}{\Gamma }^{(2)},\\ \cdots ,\\ {\hat{x}}_i^{(L)}={\hat{x}}_i^{(L-1)}{\Gamma }^{(L)},\end{array}\text{\hspace{1em}(9)}$$
然后将各个层次物品的特征表现级联，以此融合多层次用户意图
$${\mathbf{v}}_i={\hat{x}}_i^{(1)}\Vert {\hat{x}}_i^{(2)}\Vert \cdots \Vert {\hat{x}}_i^{(L)}\text{\hspace{1em}(10)}$$
而用户嵌入则是通过可学习参数进行随机初始化：

$${\mathbf{u}}_j=[\underset{\text{1-st level }}{\underbrace{{\mathbf{u}}_{j,1},\dots ,{\mathbf{u}}_{j,K(1)}}},\cdots ,\underset{\text{L-th level }}{\underbrace{{\mathbf{u}}_{j,1},\cdots ,{\mathbf{u}}_{j,K^{(L)}}}}]\text{\hspace{1em}(11)}$$
最终用户与物品的向量由三个模态下的特征和构成：
$$\{\begin{array}{l}{\mathbf{u}}_i^{\ast }={\mathbf{u}}_i^v+{\mathbf{u}}_i^a+{\mathbf{u}}_i^t\\ {\mathbf{v}}_j^{\ast }={\mathbf{v}}_j^v+{\mathbf{v}}_j^a+{\mathbf{v}}_j^t\end{array}\text{\hspace{1em}(12)}$$

E.Optimization

为了实现参数学习，我们将上面得到的物品与用户向量和他们的ID嵌入相结合
$${\overline{\mathbf{u}}}_i={\hat{\mathbf{u}}}_i\Vert {\mathbf{u}}_i^{\ast },{\overline{\mathbf{v}}}_j={\hat{\mathbf{v}}}_j\Vert {\mathbf{v}}_j^{\ast }\text{\hspace{1em}(13)}$$
设定三元组
T = { ( u i , v p , v q ) ∣ R i , p = 1 , R i , q = 0 } (14) \mathcal{T}=\left\{\left(\mathrm{u}_i, \mathrm{v}_p, \mathrm{v}_q\right) \mid \mathbf{R}_{i, p}=1, \mathbf{R}_{i, q}=0\right\}\tag{14} T={(ui​,vp​,vq​)∣Ri,p​=1,Ri,q​=0}(14)
其中${\mathrm{v}}_p$是用户点击过的物品，${\mathrm{v}}_q$是用户未点击的物品。
可得到损失函数：
$${\mathcal{L}}_3=\sum _{\left({\mathrm{u}}_i,{\mathrm{v}}_p,{\mathrm{v}}_q\right)\in \mathcal{T}}-\ln \varphi \left({\overline{\mathbf{u}}}_i^{\top }{\overline{\mathbf{v}}}_p-{\overline{\mathbf{u}}}_i^{\top }{\overline{\mathbf{v}}}_q\right),\text{\hspace{1em}(15)}$$
总体损失函数为：
$$\mathcal{L}={\lambda }_1\sum _{l=1}^L{\mathcal{L}}_1+{\lambda }_2\sum _{l=1}^L{\mathcal{L}}_2+{\mathcal{L}}_3+{\lambda }_3\Vert \theta {\Vert }_2\text{\hspace{1em}(16)}$$

总结

文章的重点其实并不在于多模态，而是对用户意图粗细粒度的创新，通过减少物品数量提取整体特征，实现从细粒度到粗粒度的转变，再将各个层次的物品特征结合作为最终的物品向量嵌入。