Revisiting Citation Prediction with Cluster-Aware Text-Enhanced Heterogeneous Graph Neural Networks

快乐且有意义活着且向死而生

已于 2024-07-28 16:14:55 修改

阅读量494

点赞数 26

文章标签：笔记经验分享几何学

于 2024-07-23 15:33:44 首次发布

本文链接：https://blog.csdn.net/weixin_57742691/article/details/140632040

版权

定理3.1解释

定理内容

背景和假设

异质网络 $G$ ：这是一个包含不同类型节点和关系的网络。根据定义3.1，这个网络中有 $R$ 种关系类型。
目标节点 $v$ ：我们关心这个节点的元路径（meta-paths）信息 $M_v$ ，该信息以一个 $d$ 维向量的形式表示。
oracle函数 $\hat{O}$ ：这是一个假设存在的理想函数，它输入目标节点 $v$ 的元路径信息 $M_v$ ，输出 $v$ 的真实标签 $y_v$ ，两者都是 $d$ 维向量。
Lebesgue测度：假设 $M_v$ 相对于Lebesgue测度是绝对连续的，这意味着 $M_v$ 的分布是连续的。

定理陈述

近似误差 $(\epsilon)$ ：这是一个给定的任意小的误差。
函数集合 $(\{F_r \mid r \in [R]\})$ ：这是一组 $(R)$ 个函数。
组合函数 $(Comp(\cdot \mid \{F_r \mid r \in [R]\}))$ ：存在一个由这些函数组合而成的函数，它可以近似oracle函数 $(\hat{O})$ 。这个组合函数被视为一个前馈神经网络（FNN）的梯度函数，该神经网络使用ReLU激活函数。
深度 $(L)$ 和宽度 $(N)$ ：这个FNN的深度为 $\lfloor \log_2 n \rfloor)$ ，宽度为 $(N = 2 L)$ ，其中 $O\left(\frac{1}{\epsilon^d}\right))$ 。
1-Wasserstein距离 $(W_1(\cdot, \cdot))$ ：这是用于衡量两个概率分布之间距离的度量方式。
期望值 $(E_{M_v \sim H}[\cdot])$ ：这是对 $M_v)$ 的分布 $(H)$ 取期望。

定理解释

定理3.1表明，对于一个定义良好的异质网络，存在一个由 $(R)$ 个函数组成的组合函数 $(Comp(\cdot \mid \{F_r \mid r \in [R]\}))$ ，它能够以任意小的误差 $(\epsilon)$ 近似oracle函数 $(\hat{O})$ ，从而近似地生成目标节点的真实标签。具体解释如下：

元路径信息和标签的关系：目标节点 $(v)$ 的元路径信息 $M_v)$ 能够通过oracle函数 $(\hat{O})$ 映射到真实标签 $y_v)$ 。这个oracle函数反映了元路径信息与节点标签之间的理想关系。
函数组合的存在性：存在一组 $(R)$ 个函数 $F_r)$ ，通过这些函数的组合，可以构建一个新的组合函数 $(C o m p)$ ，它能够近似oracle函数。这意味着我们可以通过这些简单函数的组合来近似复杂的oracle函数。
神经网络的表示能力：这个组合函数可以被视为一个前馈神经网络的梯度函数。这个神经网络使用ReLU激活函数，并且有特定的深度和宽度。这表明前馈神经网络具有强大的表示能力，可以通过足够深和宽的网络结构来近似任何复杂的函数。
1-Wasserstein距离的近似：在1-Wasserstein距离的度量下，组合函数 $(C o m p)$ 与oracle函数 $(\hat{O})$ 之间的距离可以小于给定的误差 $(\epsilon)$ 。这意味着在概率分布上，组合函数能够很好地近似oracle函数。

结论

这个定理展示了在异质网络中，通过组合简单的函数，我们能够构建出一个强大的模型来近似复杂的oracle函数，从而实现对目标节点标签的准确预测。定理中提到的神经网络结构（深度和宽度）以及1-Wasserstein距离的近似进一步说明了这种近似的有效性。

公式10的解释

解释

$u^{'}$ 是一个负样本，即不与目标节点 $v$ 直接连接的节点。负样本 $u^{'}$ 用于计算对比损失，帮助模型学习区分正样本和负样本。
$\tilde{P} = P$ 是负采样的分布，通常在对比学习中用来生成负样本。这里的 $\tilde{P}$ 表示从同一数据分布 $P$ 中采样负样本。负样本的采样方法可以根据具体的任务需求进行定义。