论文《Temporal graph learning for dynamic link prediction with text in online social networks》阅读
论文概况
本文是2024年Mach. Learn上的一篇论文，该篇文章提出了一种基于时间图神经网络的方法（）综合利用文本内容、网络结构和节点属性的动态性进行在线社交网络 (OSN) 中的链接预测。
Introduction
在线社交网络 (OSN) 中的链接预测一直是机器学习社区众多研究的重点。一个成功的基于机器学习的解决方案需要
(i) 利用链接周围图形结构的全局和局部属性；
(ii) 利用 OSN 用户生成的内容；
(iii) 允许它们的表示随时间而变化，因为每个月都会创建/上传数千个用户与新内容（如文本帖子、评论、图像和视频）之间的新链接。
当前的研究已经成功地利用了结构信息，但只有少数研究还考虑了文本内容和/或网络结构和节点属性的动态性。
为了了解文本内容对这项任务的影响，作者提供了一种新颖的流程，使用 BERT 语言模型、密集预处理层和有效的后处理解码器将文本信息与结构信息一起包含在内。
现实世界中的网络（例如流量、引用或社交网络）通常会随着时间的推移而发展。 为了从这些动态网络中提取、学习和做出预测，时间图学习领域越来越受到机器学习社区的关注。特别是，动态链接预测问题对于解决许多应用领域（例如欺诈检测或推荐系统）中的许多问题具有重要意义。除了结构信息（即图）之外，许多动态网络还可以提供描述网络链接或节点的属性，甚至这些属性也可能随时间而变化。
多模态交互、网络数据和动态性的结合在在线社交网络（OSN）中得到了最高程度的体现。由于平衡理论或同质性原则等表征社会中人们行为的不同机制，OSN 中每月都会在用户之间创建数千个新链接（Khanam 等人，2022 年）。此外，用户通常还会生成文本内容（帖子和帖子评论），描述他们的活动、爱好或观点，这些内容可能会随着时间的推移而发生变化（Monti 等人，2013 年）。因此，当涉及到使用文本信息在 OSN 中进行动态链接预测时，成功的基于机器学习的解决方案需要 (i) 利用链接周围图形结构的全局和局部属性；(ii) 包括 OSN 帐户生成的文本内容；以及 (iii) 允许它们的表示随时间动态变化。最后，问题的训练和评估设置都必须考虑数据和模型的演变性质。
然而，如今的解决方案和方法缺少上述要求中的至少一项。**至于第二个要求——文本内容——只有少数作品除了考虑传统的结构信息外，还考虑了文本内容等额外的上下文信息。**因此，我们对文本如何影响链接创建的认识目前受到限制。主要原因之一是难以获得适合该任务的数据：当前的研究缺乏关于网络增长和/或文本信息的高分辨率时间注释数据。这是一个关键问题，因为从文本中获取的信息可以增强预测并提供对指导链接创建过程的机制的洞察。事实上，文本是 OSN 的基础，因为它是用户参与的最强大驱动力之一，内容广告是这些平台的主要收入来源。至于第三个要求——处理随时间的变化——图神经网络 (GNN) 正在成为一种非常有前途的图结构数据深度学习模型，目前已成功应用于许多静态的真实世界属性图；然而，尽管针对动态图提出了各种 GNN（Gupta & Bedathur，2022），但绝大多数方法在模型设计、评估设置和训练策略方面都存在局限性（You et al，2022）。
因此，在这项工作中，我们使用动态 GNN 模型在时间属性网络上使用文本信息执行未来链接预测。我们采用了 ROLAND（You et al，2022）动态图学习框架，该框架有助于将任何静态 GNN 重新用于动态设置，并引入了适合从动态网络学习的新训练和评估程序。从这种时间和异构数据开始，在这项工作中，我们定义了一种方法来包含文本信息，以对多个后续图快照执行未来链接预测。图中的节点（用户）由一组文本特征来表征，这些特征可以捕获其内容的语义和他们谈论的主题。然后，我们研究这些文本特征对动态设置中的链接预测任务的影响，理解（i）如何使用文本特征可以提高未来链接预测任务的性能，(ii)这是更新文本表示的好策略；并强调(iii)不同基于 GNN 的模型的优点和缺点。
我们选择基于区块链的在线社交网络 Steemit 作为案例研究，因为它可以检索有关社交关系和文本内容的高分辨率时间数据，从而创建归因时间网络。具体来说，我们关注并收集了有关用户之间的“关注”关系以及用户生成的文本内容（帖子和评论）的时间数据。根据区块链的性质，通过与区块链 API 交互，数据是公开可用的、经过验证的和负担得起的。此外，每条信息也带有时间戳，因为每个区块链块都有一个验证时间戳，每个块都报告多方面的交互和内容（社交、经济、金融和文本）。鉴于此，这些数据源完全有能力应对与现代技术社交网络相关的挑战和问题，并提供对用户和网络特征的全面深入的检查。
应用上述方法得出的预测任务结果表明，文本特征和动态 GNN 的组合可随着时间的推移带来最佳性能。此外，通过对不同的基于 ROLAND 的模型进行详尽比较，我们还深入了解了随着文档集合规模的增加，逐个快照的文本内容的重要性。通过测试不同的嵌入更新模块，我们找到了过去和当前节点嵌入在文本内容动态表示中的重要性之间的良好折衷。最后，我们讨论了这项工作的潜在扩展。
我们的主要贡献总结如下：
（i）我们提出了一种方法，通过学习结构信息和文档嵌入来预测未来的“关注”链接，从而利用在线社交网络数据中的拓扑和用户生成的文本内容，引入一种基于 ROLAND 框架的新型模型架构，并增加了一个有效的链接预测解码器和密集的预处理层来微调从预训练语言模型获得的文本嵌入；
（ii）我们使用最近推出的实时更新协议，在一个从新兴的区块链在线社交网络收集的新型数据集上训练和评估时间图神经网络的“关注”预测任务，该数据集提供高分辨率的时间信息；
（iii）我们通过分析不同的节点嵌入更新策略和基线来研究文本内容在从多个关注图快照中学习中的作用，以强调文本内容如何影响它们的性能。
现有研究的不足：
1，在动态链路预测方面。现有这些方法在模型设计、评估设置和训练策略方面存在局限性。事实上，大多数研究并没有结合静态 GNN 的最新设计，并且训练和评估程序受到静态图学习的严重影响，是使用固定的训练测试分割策略执行的。为了克服这些限制，You 等人（2022 年）提出了一个图学习框架，该框架允许将任何静态 GNN 重新用于动态图，并在实时更新设置中执行训练和评估程序。我们在本研究中采用他们的框架，以受益于其模型设计和训练与评估策略。除了 ROLAND 模型设计之外，我们的模型还利用有效的解码器进行链接预测，并利用两个密集的预处理层来微调从预训练语言模型获得的文档嵌入表示。
2，带文本的链接预测。只有少数研究评估了文本节点相关数据在提高链接预测任务性能方面的作用。在这些作品中，Parimi 和 Caragea (2011) 依靠用户的文本属性来建模用户资料数据，使用潜在狄利克雷分配 (LDA) 来建模主题；但在这里，链接预测仅基于生成的主题分布，而不是网络结构。其他作品，如 Wang 等人 (2018)，通过将用户帖子生成的网络与原始“关注”网络融合来提高预测性能，但他们没有考虑基于内容的特征。Xu 等人 (2021) 使用来自异构数据集（例如 DBLP 的论文）的非结构化文本内容，通过 GNN 获得主题感知节点嵌入表示。直到最近，在推荐系统领域，LM 和 GNN 才被结合起来以获得知识感知推荐（Spilo 等人，2023）。总体而言，使用文本进行预测似乎可以提高性能；然而，所有这些方法都只在静态网络上进行了测试。此外，缺乏关于使用基于文本的特征的最佳策略的知识。在这项工作中，我们使用基于 LM 的句子编码器来应对后者的问题，这些 LM 代表了不同 NLP 任务的最新进展（Reimers & Gurevych，2019），结合时间图神经网络（Longa 等人，2023），在最近提出的时间训练和评估设置中分析不断发展的在线社交网络。
3.基于内容的社交网络分析。在处理不同的在线社交网络分析应用的一些工作中，也成功地使用了拓扑和内容相结合的方法。例如，在 Garimella 等人 (2021) 的论文中，作者利用在线新闻网络的链接结构和通过有助于理解在线新闻消费中的两极分化，研究人员能够更深入地了解用户的明确内容选择。在 Villa 等人 (2021) 的论文中，他们提出了一种基于将社区检测策略应用于不同拓扑结构的方法——以及 Twitter 上 COVID-19 对话图的内容感知表示来检测回音室。在 Kumar 等人 (2018) 的论文中，他们利用 Reddit 超链接网络和基于 Word2vec 的用户和 subreddit 嵌入来分析平台上的社区互动和冲突。
4，基于区块链的 OSN。基于区块链的在线社交网络 (BOSN) 指的是一种 Web 应用程序，它 (i) 通过提供一组“社交操作”（例如关注、评论和投票）实现账户之间的在线互动；(ii) 其核心功能由底层区块链支持，该区块链确保操作的持久性和有效性，并使用高分辨率时间戳存储每条信息。
由于每个操作都存储在区块链上，这些平台提供了网络活动的详细数据源，不仅涵盖社交方面，还涵盖经济领域；例如，用户之间的加密货币交换。近年来，许多不同的研究领域都受益于这些大量的时间和异构数据，这些数据捕捉了人与人之间以及人与平台之间互动的不同方面。大多数关于 BOSN 的研究都集中在 Steemit 上，因为它是最广泛的 BOSN 平台之一，被认为是 BOSN 生态系统的先驱。一些最近的研究说明了最相关的进展和问题 (Guidi，2021；Ba 等，2022a，2022b)。
在 Dileo 等人 (2022) 的论文中，**我们应用了最先进的图神经网络来评估文本内容对区块链 OSN 中链接预测的影响。**我们将 Steemit 建模为时间属性图，并表明 (a) GNN 优于逻辑回归或集成方法等成熟的方法；(b) 可以使用文本特征作为节点属性来增强 GNN 的预测性能。尽管这项工作强调了文本内容对链接预测以及网络演进的影响，但 (i) 它仅考虑了一些基于文本的统计数据和浅层特征来获得文本表示，而没有考虑提供高维和基于语义的文本嵌入的预训练深度学习语言模型；(ii) 它仅对一个未来快照执行未来链接预测，而没有提出处理多个后续快照的方法。在这里，我们通过在上述两个方向上采取行动来扩展这项先前的工作。
Method
在线社交网络中，用户会为其他用户发布内容。如果用户 A 对用户 B 撰写的内容感兴趣，A 可以开始关注用户 B 以接收其帖子的更新。 由于这种机制，A 还可以看到 B 转发的用户 C 撰写的帖子，并开始关注 C（如果感兴趣）。除了这些信息之外，我们还有用户生成的内容，即帖子和帖子评论，这些可能会影响“关注”链接的形成。在这里，我们旨在回答以下研究问题：我们如何处理动态文本和结构信息以在在线社交网络中执行链接预测？文本特征如何影响多个关注快照上的未来链接预测任务？为了回答这些问题，我们提出了一种基于 ROLAND 动态图图学习框架的方法（You et al.，2022）。在下一小节中，我们将描述如何对问题进行建模、用于链接预测的文本特征、
A.Graph Construction
一个会话构建一个会话图，会话图中边的权重直接取决于该点所连接的点的数量，一个点的所有边权重和为1。根据会话图可以得到出度矩阵和入度矩阵。
B.Node Vectors Updating
下面根据会话图进行物品向量计算，GCSAN认为一个结点的向量与邻接节点向量和自己本身向量有关。首先根据各个节点的向量与节点之间的邻接关系进行聚合。
a
t
=
Concat
(
M
t
I
(
[
s
1
,
…
,
s
n
]
W
a
I
+
b
I
)
M
t
O
(
[
s
1
,
…
,
s
n
]
W
a
O
+
b
O
)
)
(1)
\begin{array}{r} \mathbf{a}_{t}=\operatorname{Concat}\left(\mathbf{M}_{t}^{I}\left(\left[\mathbf{s}_{1}, \ldots, \mathbf{s}_{n}\right] \mathbf{W}_{a}^{I}+\mathbf{b}^{I}\right)\right. \\ \left.\mathbf{M}_{t}^{O}\left(\left[\mathbf{s}_{1}, \ldots, \mathbf{s}_{n}\right] \mathbf{W}_{a}^{O}+\mathbf{b}^{O}\right)\right) \end{array}\tag{1}
at=Concat(MtI([s1,…,sn]WaI+bI)MtO([s1,…,sn]WaO+bO))(1)
之后计算重置门和更新门，利用循环门控单元来更新节点向量。
z
t
=
σ
(
W
z
a
t
+
P
z
s
t
−
1
)
r
t
=
σ
(
W
r
a
t
+
P
r
s
t
−
1
)
h
~
t
=
tanh
(
W
h
a
t
+
P
h
(
r
t
⊙
s
t
−
1
)
)
h
t
=
(
1
−
z
t
)
⊙
s
t
−
1
+
z
t
⊙
h
~
t
(2)
\begin{array}{l} \mathbf{z}_{t}=\sigma\left(\mathbf{W}_{z} \mathbf{a}_{t}+\mathbf{P}_{z} \mathbf{s}_{t-1}\right) \\ \mathbf{r}_{t}=\sigma\left(\mathbf{W}_{r} \mathbf{a}_{t}+\mathbf{P}_{r} \mathbf{s}_{t-1}\right) \\ \tilde{\mathbf{h}}_{t}=\tanh \left(\mathbf{W}_{h} \mathbf{a}_{t}+\mathbf{P}_{h}\left(\mathbf{r}_{t} \odot \mathbf{s}_{t-1}\right)\right) \\ \mathbf{h}_{t}=\left(1-\mathbf{z}_{t}\right) \odot \mathbf{s}_{t-1}+\mathbf{z}_{t} \odot \tilde{\mathbf{h}}_{t} \end{array}\tag{2}
zt=σ(Wzat+Pzst−1)rt=σ(Wrat+Prst−1)h~t=tanh(What+Ph(rt⊙st−1))ht=(1−zt)⊙st−1+zt⊙h~t(2)
C.Self-Attention Layer
此处为GCSAN的创新点，自注意机制可以绘制输入和输出之间的全局依赖关系，并在整个输入和输出序列本身之间捕获项目中之间转换，而不考虑它们之间的距离。我们将得到的物品向量合并为H，进行自注意力计算。
F
=
softmax
(
(
H
W
Q
)
(
H
W
K
)
T
d
)
(
H
W
V
)
(3)
\mathbf{F}=\operatorname{softmax}\left(\frac{\left(\mathbf{H W}^{Q}\right)\left(\mathbf{H W}^{K}\right)^{T}}{\sqrt{d}}\right)\left(\mathbf{H W}^{V}\right)\tag{3}
F=softmax
d(HWQ)(HWK)T
(HWV)(3)
之后我们应用两个线性变换加上一个ReLU激活函数，使模型具有非线性，并考虑了不同潜在维度之间的相互作用.并且在前馈网络中加入剩余连接来更好的启发低层信息
E
=
ReLU
(
F
W
1
+
b
1
)
W
2
+
b
2
+
F
(4)
\mathbf{E}=\operatorname{ReLU}\left(\mathbf{F W}_{1}+\mathbf{b}_{1}\right) \mathbf{W}_{2}+\mathbf{b}_{2}+\mathbf{F}\tag{4}
E=ReLU(FW1+b1)W2+b2+F(4)
将上述整个自我注意机制定义为
E
=
S
A
N
(
H
)
(5)
\mathbf{E}=SAN(\mathbf{H})\tag{5}
E=SAN(H)(5)
则多层自注意力网络
E
(
k
)
=
S
A
N
(
E
(
k
−
1
)
)
(6)
\mathbf{E}^{(k)}=S A N\left(\mathbf{E}^{(k-1)}\right)\tag{6}
E(k)=SAN(E(k−1))(6)
D.Prediction Layer
我们将最后一个物品作为局部兴趣，然后将局部兴趣和计算出的自注意力结果加权结合，作为最终的用户兴趣。
S
f
=
ω
E
n
(
k
)
+
(
1
−
ω
)
h
n
(7)
\mathbf{S}_{f}=\omega \mathbf{E}_{n}^{(k)}+(1-\omega) \mathbf{h}_{n}\tag{7}
Sf=ωEn(k)+(1−ω)hn(7)
将得到的会话嵌入与相应的物品向量做乘积，再通过softmax得到推荐结果
y
^
i
=
softmax
(
S
f
T
v
i
)
(8)
\hat{\mathbf{y}}_{i}=\operatorname{softmax}\left(\mathbf{S}_{f}^{T} \mathbf{v}_{i}\right)\tag{8}
y^i=softmax(SfTvi)(8)
使用交叉熵定义损失函数
y
^
=
softmax
(
z
^
)
L
(
y
^
)
=
−
∑
i
=
1
m
y
i
log
(
y
^
i
)
+
(
1
−
y
i
)
log
(
1
−
y
^
i
)
(9)
\hat{\mathbf{y}}=\operatorname{softmax}(\hat{\mathbf{z}})\mathcal{L}(\hat{\mathbf{y}})=-\sum_{i=1}^{m} \mathbf{y}_{i} \log \left(\hat{\mathbf{y}}_{i}\right)+\left(1-\mathbf{y}_{i}\right) \log \left(1-\hat{\mathbf{y}}_{i}\right)\tag{9}
y^=softmax(z^)L(y^)=−i=1∑myilog(y^i)+(1−yi)log(1−y^i)(9)
总结
GCSAN大量借鉴了SRGNN的思想，创新点是使用自注意力网络来得到全局兴趣而不是单纯使用将最后一个物品作为查询向量的方法。该创新点可以灵活使用在其他网络中。
扫一扫
7436
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
