HGSR：Hyperbolic Graph Learning for SocialRecommendation

一、概述

该论文提出了一种基于超螺旋图学习的社交推荐模型，旨在解决社交推荐中的异质性和社交扩散噪声等挑战。

传统的社交推荐方法通过建模用户-用户社交网络和用户-物品交互图来提升推荐性能。然而，现有方法将用户和物品嵌入到欧几里得空间中，无法很好地表示图的幂律分布特性，从而导致图基础的社交推荐结果不理想。为了解决这一问题，近年来的研究开始将图嵌入学习应用于超螺旋空间，以保留真实世界图的层次结构。

然而，直接将当前的超螺旋图嵌入模型应用于社交推荐存在两个挑战：网络异质性和社交扩散噪声。首先，由于社交网络和用户-物品交互之间存在语义差异，如何在超螺旋形式下解决社交推荐的异质性问题？其次，显式建模社交扩散容易为用户偏好学习引入噪声，尤其是对于那些具有大量交互的活跃用户。

为了解决上述挑战，该论文提出了一种基于超螺旋图学习的社交推荐模型（HGSR）。首先，通过超螺旋社交嵌入预训练，利用社交结构来保留社交网络的层次性质。其次，构建基于用户-物品交互和社交网络的异质图，并将预训练的社交嵌入作为用户偏好学习的附加特征输入。通过显式的异质图学习和隐式的特征增强，有效解决了超螺旋社交推荐中的异质性和社交噪声问题。论文在四个数据集上进行了实证研究，广泛的实验结果表明，与现有的基准模型相比，所提出的模型具有显著的改进。

总的来说，该论文提出了一种在超螺旋空间学习的社交推荐模型，通过保留图的层次结构特性，有效地解决了社交推荐中的异质性和社交噪声问题，实验结果表明该模型在不同数据集上具有高性能和普适性。

二、主要贡献

本文的主要贡献可以总结如下：

• 在超螺旋几何的框架下对社交推荐任务进行了建模，并提出了一种新颖的基于超螺旋图学习的社交推荐模型（HGSR）。
• 设计了一个超螺旋社交预训练模块，用于保留社交结构作为特征，并通过显式的异质图学习和隐式的特征增强来解决社交推荐中的异质性和社交噪声问题。
• 在四个真实世界数据集上进行的广泛实验结果清楚地证明了所提出的HGSR模型的有效性，包括高性能、预训练特征的泛化性以及对各种稀疏用户的适用性。

三、架构说明

在该论文中，提出了一种名为HGSR的超螺旋社交推荐模型。模型结合了隐式建模和显式建模的方法，旨在解决社交推荐中的问题。具体而言，模型首先使用超螺旋图神经网络对用户-用户社交矩阵进行预训练，生成社交嵌入。这些预训练的社交嵌入可以作为附加特征用于增强推荐模型。然后，模型将用户-用户社交矩阵和用户-物品交互矩阵组合成一个异质图，在超螺旋异质图学习的框架下建模兴趣传播和社交影响扩散过程。

论文指出，单独的隐式建模或显式建模对于社交推荐效果不理想。隐式建模提取了通用的社交特征，但无法捕捉隐藏的推荐模式。显式建模虽然可以缓解交互稀疏问题，但对于活跃用户的偏好学习可能会产生干扰。因此，HGSR模型综合了隐式和显式建模的优势。

总体而言，HGSR模型利用超螺旋空间的特性，在社交推荐中取得了较好的性能，并提供了一种有效的方法来解决社交推荐中的异质性和社交噪声问题。

四、洛伦兹公式来学习双曲嵌入

在选择学习超螺旋嵌入时，我们采用了洛伦兹公式，因其具有高效性和稳定性。洛伦兹公式基于洛伦兹变换和洛伦兹内积，用于描述超螺旋空间的定义和性质。

超螺旋空间是一个黎曼流形，表示为Hd k

其中d是空间维度，k是曲率参数。超螺旋空间的定义基于洛伦兹内积，其中x和y是超螺旋空间中的向量。洛伦兹内积的形式是负的时间分量乘积加上空间分量的乘积。

在超螺旋空间中，我们可以选择一个原点o，并定义其对应的切空间（欧几里德空间）ToHd k。切空间是对超螺旋空间Hd k在原点o附近的一阶近似，用于进行线性近似计算。

洛伦兹公式的应用使得我们能够在超螺旋空间中进行超螺旋嵌入的学习，从而能够更好地处理超螺旋流形中的数据和特征。

五、Hyperbolic Distance and Mapping Function.

在超螺旋空间中，通过洛伦兹公式的定义和映射函数，我们可以进行超螺旋距离的计算和在切空间与超螺旋空间之间的点的映射。

超螺旋距离的计算利用洛伦兹内积和曲率参数，通过洛伦兹公式的形式来衡量超螺旋空间中两个点之间的距离。

映射函数包括指数映射和对数映射，用于在切空间和超螺旋空间之间进行点的转换。

指数映射将切空间中的向量映射到超螺旋空间中的点，而对数映射将超螺旋空间中的点映射到切空间中的向量。

在具体应用中，我们选择了固定曲率为-1的超螺旋空间，并选择一个特定的原点作为推理的起点。这些选择可以根据具体需求和应用进行调整。

总而言之，洛伦兹公式和映射函数提供了在超螺旋空间中进行距离计算和点映射的工具，为超螺旋嵌入和相关应用提供了数学基础和操作手段。

六、HGSR整体构建

6.1 整体构建

我们的模型包括两个模块：超螺旋社交预训练模块和超螺旋偏好学习模块。

超螺旋社交预训练模块旨在从社交网络中提取通用的社交特征，并将其保留在超螺旋空间中。这个模块的目标是捕捉社交结构的信息，并生成超螺旋嵌入。

超螺旋偏好学习模块通过结合预训练的超螺旋社交嵌入和异构图结构，进一步学习更好的用户和物品表示。这个模块利用隐式的社交特征增强和显式的异构图学习来处理推荐任务中的异构性和社交扩散噪声问题。

综合起来，我们的模型能够利用超螺旋空间中的社交特征和异构图结构，充分利用社交网络的信息，从而提升推荐系统的性能，并解决推荐任务中的异构性和社交扩散噪声等挑战。

6.2 Hyperbolic Social Pre-training Module双曲线社交与训练模块

为了保留社交网络的层次结构特性，我们设计了一个超螺旋社交预训练模块。该模块由社交嵌入初始化、超螺旋社交编码器和社交链接优化三个组件组成。

在社交嵌入初始化阶段，我们将社交网络的节点和边转化为超螺旋空间中的向量表示，为后续的预训练提供初始值。

超螺旋社交编码器利用超螺旋空间的几何性质对社交嵌入进行编码，通过学习超螺旋空间中的非线性变换，捕捉社交网络中的层次结构和关系。

社交链接优化模块通过最大化超螺旋空间中的相似性度量，优化社交网络中的链接。它通过调整超螺旋空间中节点之间的距离，改善社交关系的表示效果。

通过这些组件的协同作用，超螺旋社交预训练模块能够充分利用社交网络的结构，并生成高质量的超螺旋社交嵌入。这为后续的偏好学习模块提供了有价值的先验知识和初始化参数。

6.2.1 Social Embedding Initialization

在超螺旋社交预训练中，我们使用超螺旋高斯采样方法初始化用户嵌入。首先，将欧几里得空间中的用户嵌入 PE 转换为切空间中的表示 Z0，其中切空间的原点为 o = [−1, 0, 0, ..., 0]。然后，通过指数映射操作将 Z0 转换为超螺旋空间中的用户嵌入 P0。这样，我们得到了在超螺旋空间中的初始超螺旋社交嵌入 P0。该过程保留了社交网络的结构，并为后续的预训练提供了初始值。

6.2.2 Hyperbolic Social Graph Encoder

在超螺旋社交编码器中，我们使用两个步骤来建模高阶社交影响扩散过程，包括社交扩散和嵌入读出。

在社交扩散过程中，我们首先将超螺旋嵌入映射到切空间中，因为超螺旋空间中的平均聚合操作没有封闭形式的解决方案。对于每个用户，根据其在第 l 层卷积层中的嵌入 zl^a，通过考虑其关注的社交邻居 Sa，更新其在 (l+1) 层卷积层中的嵌入 zl+1^a，这样，在经过 L 个社交图卷积层之后，我们得到了一系列用户嵌入矩阵 [Z0, Z1, ..., ZL]。

然后，我们使用汇总池化策略将这些用户嵌入矩阵融合起来，即 Z = ΣL l=1 Zl。为了减少计算复杂度，我们舍弃了第 0 层的用户嵌入，只考虑相应的一跳邻居和高阶邻居的影响。

最后，我们将学到的用户嵌入从切空间投影回超螺旋空间，得到最终的超螺旋社交嵌入 P = expo(Z)。这些超螺旋社交嵌入将用于社交链接预测任务，以捕捉社交网络中的结构和关系。

6.2.3 Social Link Prediction

在获得超螺旋社交嵌入后，我们使用超螺旋距离函数来推断用户之间链接的倾向得分。通过计算超螺旋距离，我们可以得到用户之间的相似度。

为了优化模型，我们采用自适应边界损失函数进行训练。该损失函数考虑了正样本和负样本之间的距离，并使用适应性边界来调整损失函数的边界。通过优化该损失函数，我们可以获得最优的社交嵌入。

接下来，我们将预训练的社交嵌入作为额外的特征输入到超螺旋偏好学习模块中。这种隐式特征增强的方式可以进一步提高模型的性能，以捕捉用户的偏好和倾向。

6.3 Hyperbolic Preference Learning Module

超螺旋偏好学习模块是为了解决社交推荐中社交网络和用户-物品交互图之间的语义差距而提出的。该模块基于异构图学习的方法，将用户-物品交互和社交网络组成一个异构图，并利用预训练的社交嵌入作为特征输入来增强推荐性能。通过隐式特征增强和显式图建模相结合的方式进行偏好学习，能够更好地处理社交推荐中的异质性和扩散噪声。

该模块包括三个组成部分：

1. 超螺旋嵌入融合：将预训练的社交嵌入与用户和物品的初始嵌入进行融合，以获取更丰富的用户和物品表示，以缩小语义差距。

2. 超螺旋异构图学习：将用户-物品交互和社交网络构建成一个异构图，并利用图神经网络等方法对图进行学习。通过考虑不同节点和边之间的关系，能够捕捉到更复杂的用户偏好和社交影响。

3. 偏好预测：在学习完超螺旋异构图后，利用学到的图表示进行偏好预测。可以使用分类、回归或排序等技术来预测用户对物品的偏好程度。

通过超螺旋偏好学习模块，我们能够综合考虑隐式特征增强和显式图建模，从而更好地处理社交推荐中的异质性和语义差距，提升推荐性能。

6.3.1 Hyperbolic Embedding Fusion

超螺旋偏好学习模块的初始化过程如下：

1. 在欧几里得空间中初始化用户和物品的偏好嵌入 UE 和 VE。

2. 将预训练的超螺旋社交嵌入投影到切空间中，得到切空间中的嵌入 Z = logo(P)。

3. 在切空间中进行嵌入融合，采用求和池化的方式将切空间中的超螺旋社交嵌入和用户偏好嵌入进行融合，得到融合后的用户嵌入 H0 = g(Z, [0,UE])。

4. 对于物品，将其欧几里得空间的嵌入 VE 转换为切空间中的嵌入 Q0 = [0,VE]。

5. 根据融合后的用户嵌入 H0 和物品嵌入 Q0，在切空间中计算初始的超螺旋用户嵌入 U0 = expo(H0) 和物品嵌入 V0 = expo(Q0)。

通过以上过程，我们可以得到初始的超螺旋用户和物品嵌入，为后续的超螺旋偏好学习提供基础。

6.3.2 Hyperbolic Heterogeneous Graph Encoder

超螺旋偏好学习模块的进一步步骤如下：

1. 将初始化的超螺旋用户和物品嵌入投影到切空间中，得到 H0 和 Q0。

2. 在异构图上执行邻居传播，更新用户和物品的切空间嵌入。对于用户 a 和物品 i，在第 (l+1) 个卷积层上，通过对社交邻居和交互物品进行加权求和，得到下一层的用户嵌入 hl+1a 和物品嵌入 ql+1i。

3. 经过 L 个卷积层后，得到 L+1 个用户嵌入矩阵 [H0, H1, ..., HL] 和 L+1 个物品嵌入矩阵 [Q0, Q1, ..., QL]。

4. 使用求和池化的方式将这些嵌入矩阵进行组合，得到最终的用户嵌入 H 和物品嵌入 Q。

5. 将融合的切空间嵌入投影回超螺旋空间，生成最终的超螺旋偏好嵌入 U 和 V。

通过以上步骤，我们可以得到在考虑社交邻居和交互物品影响下的最终超螺旋偏好嵌入，用于进行推荐任务。

6.3.3 Preference Prediction

这是一个用于超螺旋偏好学习的算法的总结：

输入：训练数据D，迭代轮数N
输出：学习到的超螺旋偏好嵌入U和V

1. 初始化超螺旋用户和物品嵌入U0和V0。
2. 对于每个迭代轮数epoch：
     - 对于每个训练三元组(a, i, j) in D：
          - 计算用户-物品距离d2L(ua, vi)和d2L(ua, vj)。
          - 使用公式(20)计算自适应边界mai。
          - 使用公式(19)计算边界损失项max(d2L(ua, vi) − d2L(ua, vj) + mai, 0)。
          - 累积边界损失Lr。

     - 使用Riemannian SGD更新嵌入U0和V0。
3. 使用指数映射将最终的超螺旋嵌入U0和V0转换为超螺旋偏好嵌入U和V。

4. 返回学习到的超螺旋偏好嵌入U和V。

通过以上步骤，该算法能够学习到超螺旋空间中的用户和物品的偏好嵌入，并使用自适应边界损失函数进行模型优化。

七、总结

 

这篇论文提出了一种名为HGSR的模型，用于超螺旋社交推荐。为了应对社交推荐中的异质性和噪声问题，作者设计了一个增强的超螺旋异构图学习方法。首先，在超螺旋空间中对社交网络进行预训练，以保留层次结构特性。然后，将预训练的社交嵌入应用到超螺旋异构图中进行用户偏好学习。通过结合显式的异构图学习和隐式的社交特征增强，该模型能够有效地处理异质性和噪声问题。实验证明了该模型相对于其他基线模型具有更高的性能、预训练特征的泛化性，以及适用于不同稀疏用户的能力。未来的研究方向包括更多的超螺旋图学习技术的应用，如更有效的超螺旋图预训练和超螺旋自监督图学习等。