【知识图谱系列】基于Randomly Perturb的图谱预训练模型GraphCL

最新推荐文章于 2025-08-14 11:16:58 发布
原创 最新推荐文章于 2025-08-14 11:16:58 发布 · 951 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#知识图谱 #GraphCL #预训练模型 #对比学习 #生成式学习


作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱


本文介绍基于Randomly Perturb互信息最大化的图谱预训练模型GraphCL（NIPS 2020），介绍模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：GraphCL



一、背景知识


图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具。然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵。利用自监督GNN模型对未标记图谱数据进行预训练是减少标记工作的一种有效方法，然后将预训练学习到的模型可用在只有少量标签图谱数据的下游任务。

大规模图谱预训练： 大规模知识图谱预训练方案都需要遵守以下几个套路：首先需要进行子图采样，使用子图进行模型训练；其次采用自监督学习模式，Mask图中的节点或边然后进行训练；计算Loss时需要进行负采样，图规模大无法基于全部负样例。

对比学习 VS 生成式学习：请参考上一篇有详细解释,【知识图谱系列】清华大学基于对比学习的图谱预训练模型。



二、GraphCL模型


GraphCL是一个基于对比学习的自监督图谱预训练模型，GraphCL模型对一个节点得到两个随机扰动的L-hop的Subgraph，通过最大化两个Subgraph之间的相似度来进行自监督学习。关注以下三个问题。

问题1： A Stochastic Perturbation，如何获得一个节点两个L-Hop的子图？对个一个节点完整的L-Hop Subgraph，本文通过以概率p随机丢边的方式来生成不同的子图结构。

问题2： A GNN based Encoder，使用何种图神经网络对两个L-Hop Subgraph进行表征？简单的GCN模型（Hamiltonet al. 2017），汇聚函数使用mean-pooling propagation rule，但对于Transductive和Inductive Learning会不一样。Transductive Learning时汇聚公式如下：

图片

Inductive Learning时汇聚公式如下：

图片

问题3： A Contrastive Loss Function，损失函数如何定义？首先对两个L-Hop Subgraph相似度计算使用的是余弦相似度，损失函数是Based on a normalized temperature-scaled cross entropy，如下公式所示，其中1_([u≠v])指标函数表示当u≠v时为1，反之为0，τ是一个temperature parameter。

图片
在这里插入图片描述

在这里插入图片描述



三、GraphCL模型运行步骤


对一个采样的Mini-BatchB，GraphCL模型执行步骤如下所示：
1、对于B中的节点u，定义(X_u,A_u)是节点u的L跳子图，包含从u到L跳内所有节点和边及其对应的特征信息；

2、按照之前介绍的扰动策略得到节点u的两个扰动的L-Hop子图t_1,t_2，如下公示所示：

图片

3、使用GraphEncoder f在t_1,t_2上，如下公式所示：

图片

4、使用如下的Loss Function来训练更新Graph Encoder f的模型参数

图片

5、GraphCL模型结构图如下所示：

图片



三、结论


结论：在Transductive Learning和Inductive Learning两个方面，都证明GraphCL模型在许多节点分类基准上显著优于最先进的无监督学习。

图片

在这里插入图片描述

图片



四、往期精彩


【知识图谱系列】Over-Smoothing 2020综述

【知识图谱系列】基于生成式的知识图谱预训练模型

【知识图谱系列】基于2D卷积的知识图谱嵌入

【知识图谱系列】基于实数或复数空间的知识图谱嵌入

【知识图谱系列】自适应深度和广度图神经网络模型

【知识图谱系列】知识图谱多跳推理之强化学习

【知识图谱系列】知识图谱的神经符号逻辑推理

【知识图谱系列】动态时序知识图谱EvolveGCN

【知识图谱系列】多关系神经网络CompGCN

【知识图谱系列】探索DeepGNN中Over-Smoothing问题

【知识图谱系列】知识图谱表示学习综述 | 近30篇优秀论文串讲

【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读

【面经系列】八位硕博大佬的字节之旅

【机器学习系列】机器学习中的两大学派

各大AI研究院共35场NLP算法岗面经奉上

干货 | Attention注意力机制超全综述

干货 | NLP中的十个预训练模型

干货|一文弄懂机器学习中偏差和方差

FastText原理和文本分类实战，看这一篇就够了

Transformer模型细节理解及Tensorflow实现

GPT,GPT2,Bert,Transformer-XL,XLNet论文阅读速递

机器学习算法篇：最大似然估计证明最小二乘法合理性

Word2vec, Fasttext, Glove, Elmo, Bert, Flair训练词向量教程+数据+源码


汇报完整版ppt可通过关注公众号后回复关键词：GraphCL 来获得，有用就点个赞呗

知识图谱de构建与应用（七）：大规模知识图谱预训练
u013250861的博客
07-16 1294
知识图谱虽然包含大量有价值的信息，但通常以三元组形式的结构化数据存储，机器无法直接读取和使用。表示学习能将知识图谱中的实体和关系映射到连续空间中用向量表示，并能利用向量的代数运算，很好地建模知识图谱中的结构特征。向量表示被广泛应用在知识图谱相关任务及NLP任务上，且都取得了不错的效果。针对不同的建模任务和目标，相关工作已经提出了不同的知识图谱表示学习方法。随着GPT、BERT、XLNET等预训练语言模型在多项自然语言处理领域任务上刷新了之前的最好效果，预训练受到了各界的广泛关注。httpshttps。...
知识图谱进阶学习（一）
科研学习笔记！
03-20 475
介绍：AI训练的模型，更像是一个具有统计知识的机器，从关联和概率的角度出发，试图在描述世界背后的 “真理”。然而，我们更希望的是，像人一样，具有分析和推理能力的机器智能。如果你问我，哪一种形式最接近我心中的 “人工智能”，我会说：知识图谱。知识图谱，本质上，是一种揭示实体之间关系的语义网络。 演化进程： ...
GraphCL方法介绍（Graph Contrastive Learning with Augmentations）
qq_40671063的博客
04-12 1777
在我们的实现中，我们选择 f1 = f2 并通过数据扩充生成 ^Gi, ^Gj，而组合的各种选择导致 (4) 实例化为其他特定的对比学习算法，包括 [54, 55, 56, 21, 57, 58 , 59] 也显示在附录 F。我们想强调投影头在框架中的关键作用，它提供可学习的权重来为得分函数构建函数空间，与丢弃投影头相比达到更严格的下界（它的关键作用也在[3]中进行了经验验证）。的组合决定了我们期望的视图。负对不是明确采样的，而是从与 [53、18] 中相同的小批量中的其他 N-1 个扩充图中生成的。
【论文阅读】GraphCL：Contrastive Self-Supervised Learning of Graph Representations
cziun的博客
07-30 4570
图表示的对比自监督学习摘要1 引言2 方法2.1 背景情况2.2 GraphCL2.3 GraphCL概述3 实验 摘要 本文提出了图对比学习（GraphCL），一个以自监督方式学习节点表示的一般框架。GraphCL 通过最大化同一节点局部子图的内在特征和链接结构的两个随机扰动版本的表示之间的相似性来学习节点嵌入。我们使用GNN生成同一节点的两种表示，并利用对比学习损失来最大化它们之间的一致性。在transductive和inductive学习设置中，我们证明了我们的方法在许多节点分类基准上显著优于最新的无
大模型知识图谱结合的几种方式（结合方式全解），从零基础入门到精通，看这一篇就够了！
最新发布
Everly_的博客
08-14 934
相信经过一段时间的使用后，大家会发现大模型确实功能非常强大，能够在诸多方面相比之前的方式，有了大幅的效率提升，但其仍然存在固有的问题难以解决，尤其是模型的幻觉在面临事实准确性问题时，始终无法给出完美的正确答案。而众所周知，知识图谱的特点是精准，在面对具体的知识问答时，能够给出非常准确的答案。给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
GNN algorithms(6): GraphCL
天狼啸月1990的博客
03-13 1763
图对比学习 GCL: GCL是一种针对图数据的自监督学习算法。--》对给定的大量无标签数据，图对比算法旨在训练出一个图编辑器，即GNN，用以得到图表示向量。
【知识图谱系列】基于生成式的知识图谱预训练模型
zenRRan的博客
02-23 2684
点击上方，选择星标，每天给你送干货！来自：机器学习与自然语言处理本文介绍一篇基于生成式的图谱预训练模型GPT-GNN（KDD 2020），介绍GPT-GNN模型核心点和模型思路，完整汇报p...
技术实践 | ICDE2021-大规模知识图谱预训练及电商应用
开放知识图谱
01-28 911
本文作者 | 张文（浙江大学）、黄志文（阿里巴巴）、叶橄强（浙江大学）、文博（浙江大学）、张伟（阿里巴巴），陈华钧*（浙江大学）接收会议 | ICDE2021转载公众号 | ZJUKG ...
【知识图谱系列】清华大学基于对比学习的图谱预训练模型GCC
【AI机器学习与知识图谱】的博客
05-22 2121
作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱 本文介绍一篇基于对比学习的图谱预训练模型GCC（KDD 2020），介绍GCC模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：GCC 一、背景知识 图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具。然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵。利用自监督GNN模型对未标记图谱数据进行预训练是减少标记工作的一种有效方法，然后将预训练学习..
GraphCL: Graph Contrastive Learning with Augmentations笔记
weixin_40248634的博客
05-02 472
Graph Contrastive Learning with Augmentationscontrastive learning algorithmpretraining model for molecular proporty predition 使用最基础的contrastive loss 处理图graph-level的tasks, 包括self-supervised, semi-supervised graph classification, 主要贡献是提出4种不同的augmentations.
GraphCL：图神经网络预训练的新星
gitblog_00005的博客
04-17 606
GraphCL：图神经网络预训练的新星 是一个基于Python的开源库，专注于研究和实现图形数据的无监督表示学习方法。它主要关注的是图神经网络（GNN）的预训练，这是深度学习在非结构化数据处理领域的一个重要进展。 技术分析 GraphCL 创新性地采用了对比学习（Contrastive Learning）框架用于图数据的表示学习。它生成多视角的图表示，并通过最大化这些表示之间的信息相互作用来提升模...
从0-＞1构建知识图谱练习（KG，Knowledge Graph）
qq_48926487的博客
05-11 707
如果想要构建新环境可以使用以下的内容写入requirements.txt并在终端运行 pip install -r requirements.txt。代码实现时要注意IDE版本和一些库的版本适配。尤其是spacy库，新版和旧版的参数会有所不同，附上我使用的版本：Python 3.8.19。可以在终端直接pip install en_core_web_sm,模型版本要和spacy库对应。一篇写的比较容易理解的文章，根据作者的思路和展示能实现成功。有何使用体验和心得欢迎私信交流~
BERT遇上知识图谱：预训练模型与知识图谱相结合的研究进展
11-07
随着BERT等预训练模型横空出世，NLP方向迎来了一波革命，预训练模型在各类任务上均取得了惊人的成绩。随着各类预训练任务层出不穷，也有部分研究者考虑如何在BERT这一类模型中引入或者强化知识图谱中包含的信息，进而增强BERT对背景知识或常识信息的编码能力。
知识图谱学习
m0_61749866的博客
04-18 2009
实现KBQA的三大主流方法：基于模板的方法、基于语义解析的方法和基于深度学习的方法。又称基于模式匹配的方法，包含模板定义、模板生成和模板匹配三个步骤。逻辑表达式是区别于语义解析方法与模板匹配方法的根本差异。词汇映射、构建语法树（自底向上地对语法树的结点进行两两合并，直至生成根结点，完成整个语法树的构建）弱监督学习：旨在在没有太多监督的情况下构建预测模型的各种学习过程KBQA与深度学习方法的结合，一是基于深度学习方法对传统方法进行改进、二是实现端到端的问答系统（如下图）。模型处理过程：联想。
[论文分享] GraphCL：图对比学习的增强方式，如何构造正样本？
m0_50826544的博客
03-22 795
在图机器学习中，如何构造增强数据！
NIPS20： GraphCL Graph Contrastive Learning with Augmentations
qq_40926715的博客
10-18 829
试图增强，drop node, egde subgraph, feature mask
大模型与知识图谱结合的几种方式
m0_59235245的博客
07-22 657
大模型自从去年底爆火出圈以后，很多人把大模型和知识图谱进行比较，甚至大量业内人士认为在大模型的发展下，知识图谱已经没有存在的必要了。那么真实情况，或者未来更有可能的一种情况是什么样的呢？
论文解读：知识图谱融入预训练模型
NLPlunwenjiedu的博客
01-10 1500
论文解读：知识图谱融入预训练模型
GraphCL 开源项目教程
gitblog_00859的博客
08-22 405
GraphCL 开源项目教程 1. 项目的目录结构及介绍 GraphCL 项目的目录结构如下： GraphCL/ ├── data/ │ ├── __init__.py │ ├── data_util.py │ ├── molecule_dataset.py │ ├── mutag_dataset.py │ ├── nci1_dataset.py │ ├── protein...
基于张量分解的时序知识图谱补全
03-23
### 基于张量分解的时序知识图谱补全方法 #### 方法概述 时序知识图谱补全是通过预测缺失的关系三元组来扩展现有的动态知识图谱。这种方法通常依赖于静态或时序的知识图嵌入模型以及张量分解技术。张量分解是一种强大的工具，能够捕捉多维数据中的复杂关系并将其降维到更易于处理的形式。 在时序场景下，张量分解被用来建模随时间变化的关系模式[^3]。具体来说，给定一个三维张量 \( \mathcal{X} \in \mathbb{R}^{I \times J \times K} \)，其维度分别对应实体、关系和时间戳，目标是对该张量进行低秩近似以提取潜在特征向量。这些特征向量随后用于估计未知条目的概率分布。 #### 静态与时序知识图嵌入模型对比 对于时序知识图谱补全任务而言，存在两类主要的方法： 1. **Static Knowledge Graph Embedding (KGE)** 模型仅考虑固定的时间点上的结构化信息，例如 TransE 和 DistMult[^4]。这类模型无法直接应用于具有时间属性的数据集。 2. **Temporal Knowledge Graph Embedding (TKGE)** 模型则显式引入时间作为额外输入变量之一，从而支持对历史趋势的学习与未来事件的推断。常见的 TKGE 模型包括 TTransE、HyTE 及 TeRo 等。 #### 实现细节 以下是基于 CP 分解（CANDECOMP/PARAFAC Decomposition）的一个典型实现框架： ```python import numpy as np from scipy.optimize import minimize def cp_decomposition(tensor, rank): """ Perform CANDECOMP/PARAFAC decomposition of a tensor. Args: tensor (np.ndarray): Input tensor with shape (I, J, K). rank (int): Rank of the approximation. Returns: tuple: Factor matrices A, B, C corresponding to modes entities, relations, timestamps respectively. """ I, J, K = tensor.shape # Initialize factor matrices randomly A = np.random.rand(I, rank) B = np.random.rand(J, rank) C = np.random.rand(K, rank) def loss(factors): nonlocal A, B, C A_new, B_new, C_new = factors[:rank*I].reshape((I, rank)), \ factors[rank*I:rank*(I+J)].reshape((J, rank)), \ factors[rank*(I+J):].reshape((K, rank)) reconstructed_tensor = np.einsum('ir,jr,kr->ijk', A_new, B_new, C_new) error = np.linalg.norm(reconstructed_tensor - tensor) return error initial_guess = np.concatenate([A.flatten(), B.flatten(), C.flatten()]) result = minimize(loss, initial_guess, method='L-BFGS-B') optimized_factors = result.x A_optimized = optimized_factors[:rank * I].reshape((I, rank)) B_optimized = optimized_factors[rank * I : rank * (I + J)].reshape((J, rank)) C_optimized = optimized_factors[rank * (I + J):].reshape((K, rank)) return A_optimized, B_optimized, C_optimized # Example usage if __name__ == "__main__": # Create synthetic data np.random.seed(0) I, J, K = 5, 4, 3 true_A = np.random.rand(I, 2) true_B = np.random.rand(J, 2) true_C = np.random.rand(K, 2) true_tensor = np.einsum('ir,jr,kr->ijk', true_A, true_B, true_C) # Add noise noisy_tensor = true_tensor + 0.1 * np.random.randn(*true_tensor.shape) # Apply CP decomposition estimated_A, estimated_B, estimated_C = cp_decomposition(noisy_tensor, rank=2) print("Estimated Factors:") print("Entity Matrix:\n", estimated_A) print("Relation Matrix:\n", estimated_B) print("Timestamp Matrix:\n", estimated_C) ``` 上述代码展示了如何利用优化算法求解 CP 分解问题，并从中获得三个因子矩阵——分别对应实体、关系及时刻的信息。此过程有助于构建紧凑而有效的表示形式以便后续分析或推理操作。 #### 进一步讨论 尽管 CP 分解提供了一种简洁的方式来表达高阶关联性，但它可能不足以应对某些复杂的现实世界应用需求。因此，在实际部署过程中还需要探索其他高级变体比如 Tucker 分解或者非负矩阵因数化(NMF)。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值