论文笔记：KDD 2020 Dual Channel Hypergraph Collaborative Filtering

1. 前言

论文链接：https://www.researchgate.net/publication/343777368_Dual_Channel_Hypergraph_Collaborative_Filtering
github：暂无

协同过滤(CF)是当今众多推荐系统中最流行、最重要的推荐方法之一。现有的基于CF的方法，从矩阵分解到新兴的基于图的方法，虽然得到了广泛的应用，但是在训练的数据非常有限的情况下，表现都很差。在本文中，我们首先指出了这种不足的根本原因，并观察到现有基于CFbased方法内在设计的两个主要缺点，即

• 1)对用户和物品的建模不够灵活
• 2)对被试之间的高阶相关性建模不足。在这种情况下，我们提出了一个双通道超图协同过滤(DHCF)框架来解决上述问题。

首先，引入双通道学习策略来学习用户和项目的表示，这样这两种类型的数据就可以在保持其特定属性的同时优雅地相互连接。其次，使用超图结构对具有显式混合高阶相关性的用户和项进行建模。为支持高阶关联的显式、高效的嵌入传播，提出了跳超图卷积(JHConv)方法。在两个公共基准测试和两个新的真实数据集上的综合实验表明，与其他最先进的方法相比，DHCF可以取得显著和一致的改进。

大家感兴趣可以在github上搜索ENMF，其中有他们方法与DHCF的对比实验，相关代码可以参考，但是效果好象不是很显著

2. 背景

对有价值、有吸引力、个性化信息的需求不断增长，推动了不同领域的各种推荐系统的开发。推荐系统的核心是一系列的推荐算法，这些算法能够根据用户的个人特征对爆炸性的信息进行有效的筛选。协同过滤(CF)是行业和研究领域中最流行和被广泛采用的方法之一。简而言之，CF有一个基本的假设，即当向用户提供推荐时:行为相似(例如，经常访问同一个网站)的用户很可能会分享相似的偏好(例如，音乐、视频、网站)。为了实现这一点，典型的基于CFbased的方法执行了两步策略：它首先通过利用历史交互来区分相似的用户和项目;然后根据上面收集到的信息，生成针对特定用户的推荐。特别地，现有的CF方法可以分为三类。

• 第一种CF方法是基于用户的方法，它仅仅基于用户之间的相似性产生推荐，即用户-用户相关性，它描述了不同用户对同一物品的交互之间的关系。
• 类似地，基于项目的方法(如第二类方法)仅使用物品-物品相关性进行推荐。基于用户的方法和基于物品的方法在预测对用户有吸引力的物品时，都只采用了部分的历史信息，必然会带来较差的性能。
• 第三种CF方法，包括matrix factorization (MF)和基于图的方法，努力将用户和物品不加区分地整合在一起进行推荐。矩阵因子分解方法对共享空间中的用户和项目进行建模。基于图的方法将用户和项目都用图表示出来，可以共同研究这些用户和项目之间的相关性，进而提高性能。

虽然CF方法已经被研究了多年，但是局限性仍然存在，特别是当用于训练的先验知识非常有限的时候。为了了解这些不足之处，我们深入挖掘现有CF方法的内在机制，发现其局限性如下:

1. 不灵活的用户和项目建模。尽管基于图的CF方法将用户和项目建模为不可区分的节点，但是在用户和项目之间不存在必要的区别。当一个商品与大量用户联系在一起时，这个商品会很受欢迎。相反，当用户与不同的项目链接时，并不表示该用户是受欢迎的。在这种情况下，需要对用户和项目进行更灵活的建模。
2. 对高阶相关的建模不足。用户和项目之间的高阶关联对于数据建模是必不可少的。现有的方法尝试加入高阶关联，而使用的图结构对高阶关联建模和处理有限制，因为只有成对的连接才能在图中表示。

在训练数据不足时，上面的这两点问题变得更加严重。

基于此本文提出了一个双通道超图协同过滤(DHCF)框架，该框架可以更好地学习用户和物品的高阶表示。为了处理用户和物品的不同表示问题，我们在建模过程中采用了分治策略，以便将用户和项集成在一起，同时仍然保持它们各自的属性。

具体来说，如图1所示，首先我们根据用户和项的给定数据构造多个连接组。在这里，连接生成规则可以看作是描述原始数据的一个新视角，可以灵活定义。例如，它可以关联行为相似但没有直接连接的用户，因此在连接组中基于该关联规则构建的关系可以表示高阶关联，从而产生相应的超边。根据这些生成的连接组，即超边，我们可以分别为用户和项构造两个超图，即两个通道的表示。本文提出了一种新的跳变超图卷积算法(JHConv)，通过聚合邻域的嵌入信息和附加的先验信息，有效地在超图上进行信息传播。学习到的表示可以进一步集成以产生对于物品的推荐建议。

图1给出了基于图的CF和本文提出的双通道超图CF的比较。如图所示，在给定原始用户-项目连接的情况下，基于图的方法生成一个图结构来学习表示和推荐结果。与上述方法不同的是，DHCF框架可以分别使用两个超图中的高阶信息来学习用户和项的表示。图1给出了基于图的CF和本文提出的双通道hypergraph CF的比较。如图所示，在给定原始用户-项目连接的情况下，基于图的方法生成一个图结构来学习表示和推荐结果。与上述方法不同的是，DHCF框架可以分别使用两个超图中的高阶信息来学习用户和项的表示。

本文的主要贡献如下所示

• 为了了解用户和项目的不同表示方式，在CF中引入了分治方法(分别根据超图的构建进行用户和物品的表示学习)，它可以将用户和项目集成在一起进行推荐，同时仍然保持它们的特定属性，从而形成一个双通道协同过滤框架。

• 建议使用超图来显式地建模用户和项目之间的高阶关联。同时还提出了一种新的跳跃超图卷积(JHConv)方法，通过引入先验信息来有效地传播嵌入信息。

3. DHCF

3.1 超图及图卷积定义

超图关联矩阵定义

超图图卷积定义

其中 ${\Theta }^{(l)}\in {\mathbb{R}}^{C^{(l)}\times C^{(l+1)}}$ 是可学习的参数矩阵

它可以看作是对超图结构执行顶点-超边-顶点特征变换的两阶段细化。超图关联矩阵 $H$ 定义了从超边(列)到顶点(行)的消息传递路径。类似地，$H^T$ 定义了从顶点(列)到超边(行)的路径。然后，通过超图上的信息传播过程来描述超图卷积。(2)中使用了两个对角矩阵 $D_v$ 和$D_e$ 进行归一化，它们对超图上的消息传递路径没有影响。首先，在 $H^T$ 的引导下，根据超边集合顶点特征，形成超边特征。然后，通过 $H$ 聚合它们的相关超边特征，生成细化的顶点特征。最后,可训练的 $\Theta$ 和非线性激活函数 $\sigma (\cdot )$ 。综上所述，与普通图(Simple Graph相比，超图(HyperGraph)自然具有建模高阶连接的能力。此外，超图卷积可以处理高阶相关结构。作为一种有效而深入的操作，超图卷积通过利用顶点-超边-顶点转换，使顶点之间的高级信息交互成为可能。

3.2 A General DHCF Framework

图2代表了DHCF的总体框架。在较高的层次上，DHCF首先通过双通道超图框架学习用户和项目的两组嵌入信息，在此基础上，通过计算用户和项目嵌入的内积，得出用户和项目的偏好矩阵。基于这样的偏好矩阵，DHCF估计用户对某一商品感兴趣的可能性。

为了对用户和项目进行准确的建模和表示，DHCF采用了双通道超图嵌入框架。最初的嵌入向量 $(e_u\in {\mathbb{R}}^d)/(e_i\in {\mathbb{R}}^d)$ 对单个用户/项目( $d$ 表示嵌入向量的维数)，通过超图卷积在两个阶段的传播实现超图高阶消息传递(high-order message
passing)和联合信息更新(joint message updating)进而完善用户和物品的嵌入表示。

3.2.1 Initialization

给定用户-项目中 $N$ 个用户和 $M$ 个项目的交互，分别构造用户和项目的初始表示和超图结构，作为DHCF框架的输入。具体来说，我们为用户和项目创建了两个嵌入 $E_u=[e_{u_1},...,e_{u_N}]$ 和 $E_i=[e_{i_1},...,e_{i_M}]$(内嵌查找表)。

基于此 $k$ 超边群 { E r 1 ， … ， E r k } \mathcal{\{E_{r_1}，…， E_{r_k}}\} {Er1​​，…，Erk​​}可以根据自定义的关联规则 { r 1 ， … ， r k } \{r_1，…，r_k\} {r1​，…，rk​}表示用户和项目。除了被观察实例直接呈现的交互作用之外，这种关联规则可以被视为描述原始数据的新视角。例如，它可以关联行为相似但没有直接联系的用户，因此基于这种关联规则在超边缘组中构建的关系能够捕获高阶信息，而不是成对的关系。

然后通过融合不同的超边群，可以构造具有混合高阶关联的超图关联矩阵 $H$:

其中 $f(\cdot )$ 表示超边融合操作

现在，用户/物品的初始嵌入和超图已经为以后的传播做好了准备。

3.2.2 Phase 1: High-order Message Passing.

为了根据预定义的混合高阶关系聚合邻近消息，执行如下高阶消息传递:

$HConv(\cdot ，\cdot )$ 表示任意超图卷积操作，如 $HGNNConv$ 。特别是 $HConv(\cdot ,\cdot )$ 这里纯粹是一个信息传播对超图没有任何可训练的参数($\Theta$)???。输出μ和Mi学到复杂的相关性从高阶邻国,分别。这里的邻居是一个抽象的描述，它超越了历史相互作用中的直接联系，可以揭示潜在行为空间中的相似性。然后考虑使用 $M_u$ 和 $M_i$ 联合更新 $E_u$ 和 $E_i$ 。

3.2.3 Phase 2: Joint Message Updating

为了提取具有辨别性的信息，对用户和物品定义为:

$JU(\cdot ，\cdot )$ 可以是任意可学习的前馈神经网络，设计用于用第二个参数更新第一个参数。

综上所述，上述两个过程构成了一个集成的DHCF层，该层允许对用户和项的高阶关联进行显式建模和编码，并通过强大的超图结构进一步更新和生成更准确的嵌入。这种精细化的嵌入可以进一步应用到推荐系统的各种下游任务中。

3.3 Jump Hypergraph Convolution

与HGNN比较。JHConv允许模型同时考虑其原始特性和聚合的相关表示，从(2)和(6)可以看出。另一方面，这种类似resnet的残差链接使模型避免了由于集成了许多附加连接而导致的信息稀释。

3.4 High-order Connectivity Definition

在本节中，我们分别介绍了用户和项在用户-项二分图上构造高阶连通性的方法。用户-项目二部图可以用关联矩阵 H ∈ { 0 , 1 } N × M H \in \{0,1\}^{N\times M} H∈{0,1}N×M 表示。

3.4.1 On Users

Definition 1: Item’s k-order reachable neighbors

在用户-项交互图中，更具体地说是二部图中，如果 $ite{m}_i$和 $ite{m}_j$ 之间存在一个相邻顶点序列(即一条路径)，且该路径上的用户数小于$k$ ，则 $ite{m}_i$ ($ite{m}_j$)为 $ite{m}_j$ ($ite{m}_i$)的 $k$ 阶可达邻居。

Definition 2: Item’s k-order reachable users.

在项目-用户二分图中，如果 $use{r}_j$ 和 $ite{m}_k$ 存在直接交互，则 $use{r}_j$ 是 $ite{m}_i$ 的 $k$ 阶可达近邻，$ite{m}_k$ 是 $ite{m}_i$ 的 $k$ 阶可达近邻。

对于 $ite{m}_i$，其 $k$ 阶可达用户集称为 $B_u^k(i)$。从数学上讲，超图可以定义在一个集合族上，其中每个集合代表一个超边。因此，这里可以通过某项的 $k$ 阶可达用户集合构建超边，然后根据用户间的 $k$ 阶可达规则构建高阶超边群，可以表示为:

进而对于物品的 $k$ 阶可达矩阵可以表示为 A i k ∈ { 0 , 1 } M × M A_i^k \in \{0,1\}^{M \times M} Aik​∈{0,1}M×M

其中 $pow(M,k)$ 为计算给定矩阵M的 $k$ 次幂的函数， H ∈ { 0 , 1 } N × M H \in \{0,1\}^{N\times M} H∈{0,1}N×M为用户-产品二部图的关联矩阵。那么由用户间 $k$ 阶可达规则构造的超边群关联矩阵 H B u k ∈ { 0 , 1 } N × M H_{B^k_u} \in \{0,1\}^{N×M} HBuk​​∈{0,1}N×M可表示为:

假设我们有一个通过k-order hyperedge组建立在用户访问规则,最后混合超图所代表的高阶用户之间的联系可以顾融合hyperedge组。由于超图在多模融合中的优势，可以对超边群关联矩阵进行简单的连接操作 $\cdot ||\cdot$ 用于超边群融合 $f(\cdot )$ 。最后，用户的超图关联矩阵 $H_u$ 可表示为:


通过这种方式，我们可以为用户和物品定义高阶连接。图3展示了 $k$ 分别为1和2时的用户高阶连通性示例。

3.4.2 On Items

用户的 $k$ 阶可达邻居和用户的k阶可达项可以用类似的方式对称定义。具体而言，用户的 $k$ 阶可达矩阵为 A u k ∈ { 0 , 1 } N × N A^k_u \in \{0,1\}^{N\times N} Auk​∈{0,1}N×N，可表示为:

由项间 $k$ 阶可达规则构造的超边群关联矩阵 H B i k ∈ { 0 , 1 } M × N H_{B^k_i} \in \{0,1\}^{M\times N} HBik​​∈{0,1}M×N可表示为:

则项目的超图关联矩阵 $H_i$ 可表示为:

3.5 DHCF Layer Configurations

3.5.1 Construction of Hybrid High-order Connections

对于每个用户/物品，我们分别设 $k$ 为1和2，获取其 $k$ 阶邻居 $B^1$ 和 $B^2$ ，然后为每个用户/物品构造两种高阶关联。然后我们分别引入这两个高阶关联关系来构造用户/物品的超图，其关联矩阵分别为 $H_u$ 和 $H_i$:

值得注意的是，提议的DHCF框架是普遍适用和可扩展的。换句话说，虽然采用B1和B2来探索高阶连通性信息，但模型对此没有具体要求，这意味着其他灵活的高阶相关定义也可能被纳入到所提议的框架中。

3.5.2 Configuration of an Integrated DHCF Layer

给出了用户嵌入 $E_u$ 、物品嵌入 $E_i$、用户 $H_u$ 和物品 $H_i$ 上的超图关联矩阵，给出了高阶消息传递和联合消息更新的详细定义。
Phase 1:
对于高阶消息传递，采用(6)中介绍的JHConv来传播超图上的用户/项目嵌入，同时保留原始信息。在这里，用户表示和物品表示可以通过这种双通道方式学习
Phase 2:
对于联合消息更新，我们在前一阶段的输出上应用一个共享的完全连接层。具体配置如下:
其中$\cdot ||\cdot$为连接操作。$MLP1(\cdot )$ 代表一个完全连接层与可训练的 $\Theta$ ,只有采用 $JU(\cdot \cdot )$ 的第一个参数。
传播规则的矩阵形式为了对超图上的嵌入传播规则有一个大致的概况，给出它的矩阵形式:

其中 H ∈ { 0 , 1 } N × M H \in \{0,1\}^{N\times M} H∈{0,1}N×M是一个useritem二部图的初始关联矩阵。$D_{u_v}$、$D_{u_e}$和 $D_{i_v}$、$D_{i_e}$是对角矩阵，分别表示用户超图和项目超图的顶点度和超边度。$E_u^{(l)}$、$E_i^{(l)}$和 $E_u^{(l+1)}$、$E_i^{(l+1)}$分别是l层的输入/输出用户嵌入和项嵌入。给出用户-项目二部图 $H$ 的原始关联矩阵，首先在用户和项目上分别构造具有混合高阶关联的超图 $H_u$ 和 $H_i$ 。然后将 $E_u^{(l)}$、$H_u$、$E_i^{(l)}$和 $H_u$ 送入阶段1和阶段2，生成更新的用户嵌入 $E_u^{(l+1)}$和条目嵌入 $E_i^{(l+1)}$，用于下一次传播或最终的链接预测。

3.6 Optimization

在本文中，关注的是有限的内隐反馈，与评分和评论等外显反馈相比，这种反馈在实践中更普遍，但也更有缺陷和固有的噪声。具体来说，在隐式反馈中，只有积极的反馈是可见的，其余的数据都被视为缺失数据，因为没有办法判断用户是否不喜欢或忽略了该产品。因此，选择logistic优化，即两两优化，而不是点的方法。它有一个成对的假设，即给定用户 $u$ 更喜欢观察到的物品 $i^{+}$而不是未观察到的物品 $i^{-}$，因此观察到的物品的排名应该更高。尽管存在固有的噪声，但大量的未观测项弥补了这一缺陷，有助于建立鲁棒推荐系统。进一步利用成对贝叶斯个性化排序(BPR)优化准则作为损失函数:

$\mathcal{T}$ 表示两两训练数据，其中假设用户 $u$ 更喜欢项 $i^{+}$，而不喜欢项 $i^{-}$; $(\cdot )$ 为logistics型函数; $\Theta$ 表示所有模型参数和 $\lambda$ 模型特定的正则化参数,以避免过度拟合。

4. 实验