KG-BERT for Knowledge Graph Completion 笔记

最新推荐文章于 2024-09-09 16:08:58 发布
最新推荐文章于 2024-09-09 16:08:58 发布
阅读量3.8k 收藏 14
点赞数 10
分类专栏： NLP论文学习 文章标签： 知识图谱 bert 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44283836/article/details/120911305
版权

Abstract

1、采用预训练的语言模型BERT来补全知识图谱

2、将知识图谱中的三元组视为文本序列，并提出新框架KG-BERT

3、方法：用三元组的实体描述和关系描述作为输入，利用KG-BERT语言模型计算三元组的评分函数

资料查阅:

预训练语言模型 PLMs：预训练模型就意味着先学习人类的语言知识，然后再代入到某个具体任务。

1）基于大规模文本，预训练得出通用的语言表示；2）通过微调的方式，将学习到的知识传递到不同的下游任务

预训练模型的三个关键技术：①Transformer ②自监督学习 ③微调

Introduction

1、KG通常是一个多关系图，KG通常是一个多关系图，包含实体作为节点，关系作为边。

每条边都表示为一个三元组(head entity, relation, tail entity)(简称(h, r, t))，表示两个实体的关系

例如(Steve Jobs, founded, Apple Inc.)

2、知识图谱补全的任务：评估知识图中未出现的三元组的合理性

3、知识图谱补全的常用方法：

”知识图嵌入“它将三元组中的实体和关系表示为实值向量，并用这些向量评估三元组的真实性(Wang et al. 2017)

缺陷：只观察到三元组的结构信息，存在知识图谱的稀疏性问题

BERT的优势：通过掩码语言建模和下一句预测对双向Transformer编码器进行预训练，它可以在预先训练的模型权重中获取丰富的语言知识。

本研究中，提出了一种利用预先训练的语言模型来完成知识图谱的新方法：

将实体、关系和三元组看成文本序列，并将知识图谱的补全问题转化为序列分类问题，然后在这些序列上面微调BERT模型，以预测一个三元组或一个关系的可信度。

1、该文提出了一种新的语言模型用于知识图谱的补全，这是第一个用预先训练过的语言模型来进行三元组的可信性研究。

2、实验结果表明，该方法在三元组分类、关系预测和链路预测等方面取得了较好的效果。

Method

Bert：Bidirectional Encoder Representations from Transformers（一种从Transformers模型得来的双向编码表征模型。）

《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
在这里插入图片描述

每个序列的首个token总是一个特定的classification token([CLS])。这个token对应的最后的隐藏状态被用作分类任务的聚合序列表征。SEP是分隔符，用于区分句子，如Question/Answer

Pre-training：

1、Task 1:Masked LM：为了训练一个深度双向表征，作者简单的随机mask一些百分比的输入tokens，然后预测那些被mask掉的tokens。这一步称为“masked LM”(MLM)，文献中它通常被称为完型填空任务(Cloze task)。在实验中，作者为每个序列随机mask掉了15%的WordPiece tokens。

2、Task 2:Next Sentence Prediction (NSP)：当为每个预测样例选择一个句子对A和B，50%的时间B是A后面的下一个句子(标记为IsNext)， 50%的时间B是语料库中的一个随机句子(标记为NotNext)。图1中，C用来预测下一个句子（NSP）。

Fine-tuning：

在这里插入图片描述

具体的做法是修改了BERT模型的输入使其适用于知识库三元组的形式。

首先是KG-BERT(a)，输入为三元组( h , r , t )的形式，当然还有BERT自带的special tokens。例如，对于三元组(SteveJobs,founded,AppleInc)，上图中的Head Entity输入可以表示为Steven Paul Jobs was an American business magnate, entrepreneur and investor或者Steve Jobs，而Tail Entity可以表示为Apple Inc. is an American multinational technology company headquartered in Cupertino, California或Apple Inc。也就是说，头尾实体的输入可以是实体描述句子或者实体名本身。

上述的KG-BERT(a)需要输入关系，对于预测关系任务不适用，于是作者又提出一种KG-BERT(b)，如下图。

在这里插入图片描述

KG-BERT(b)采用CLS处的隐态输出C后接一个分类矩阵来预测两实体之间的关系:

在这里插入图片描述

其中W为关系的分类矩阵,多分类也将sigmoid换成了softmax.

Experiments

数据集：

在这里插入图片描述

作者微调的BERT参数

fine-tuning: batch size: 32, learning rate: 5e-5, dropout rate:0.1

Epochs：

3 for triple classification,

5 for link (entity) prediction

20 for relation prediction

三元组分类（3），实体预测（5），关系预测（20）

对于关系预测，epoch越多效果越好，三元组分类和实体预测不是这样。

关于深度学习中的三个概念：

（1）iteration：表示1次迭代（也叫training step），每次迭代更新1次网络结构的参数；

（2）batch-size：1次迭代所使用的样本量；

（3）epoch：1个epoch表示过了1遍训练集中的所有样本。

三元组分类任务

不同嵌入方法的三元组分类精确度：

在这里插入图片描述

KG-BERT表现良好的原因：

1)输入序列同时包含实体词序列和关系词序列

2)三元组分类任务与BERT预训练中的下一个句子预测任务非常相似，该任务捕获了大型自由文本中两个句子之间的关系，因此预先训练的BERT权值可以很好地定位到三元组分类任务中不同元素之间的关系

3)标记隐藏向量是上下文嵌入。同一个标记可以在不同的三元组中有不同的隐藏向量，因此可以显式地使用上下文信息。

4)自注意机制可以发现与三元组事实相关的最重要的词

链接(实体)预测任务

预测头部实体(?，r，t)或预测给定的尾部实体(h, r，?)

(?表示缺少的元素)

在这里插入图片描述

关系预测任务

该任务预测两个给定实体之间的关系，即(h，?，t）这个过程类似于链接（实体）预测。

KG-BERT的注意模式

在这里插入图片描述

输入序列使用实体描述“一张价值20美元的美钞”和“一张纸币”以及关系名称“hypernym”。一些重要的词，如“纸”和“钱”，与标签标记[CLS]相关的注意力得分更高，而一些不太相关的词，如“联合”和“国家”，获得的关注较少。

存在的不足

BERT模型的一个主要局限性是代价昂贵，使得链路（实体）预测评估非常耗时，链路（实体）预测评估需要用几乎所有的实体替换头或尾实体。

总结

本文提出了一种新的知识图补全方法，称为知识图BERT (KG-BERT)。我们将实体和关系表示为名称/描述文本序列，并将知识图补全问题转化为序列分类问题。KG-BERT可以利用丰富的语言信息在大量的自由文本和突出最重要的单词连接到一个三元组。

总结

本文提出了一种新的知识图补全方法，称为知识图BERT (KG-BERT)。我们将实体和关系表示为名称/描述文本序列，并将知识图补全问题转化为序列分类问题。KG-BERT可以利用丰富的语言信息在大量的自由文本和突出最重要的单词连接到一个三元组。

KG-BERT: BERT for Knowledge Graph Completion
weixin_44466434的博客
06-20 444
1
Transformer课程 第7课Gavin BERT文本分类
段智华的博客
12-02 1311
BERT在各种任务中成功的原因在于：Transformer编码器体系结构，以密集向量的形式表示输入，这些向量可以通过非常简单的分类器轻松地转换为输出。本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。
【KG-BERT：BERT用于知识图谱补全】（非常详细），收藏这一篇就够了
最新发布
qq_43701258的博客
09-09 1088
知识图谱是许多人工智能任务的重要资源，但往往存在不完整性问题。在这项工作中，我们使用预训练的语言模型来完成知识图。将知识图中的三元组视为文本序列，并提出了一种新的框架——知识图双向编码表示转换器(KG-BERT)来建模这些三元组。该方法以三元组的实体描述和关系描述为输入，利用KG-BERT语言模型计算三元组的评分函数。在多个基准知识图上的实验结果表明，我们的方法在三重分类、链接预测和关系预测任务中都能达到最先进的性能。
python学习笔记1:跑kg-bert代码过程中遇到的问题
weixin_47963230的博客
03-30 1450
毕业设计需要对KG-BERT模型具有相当了解，我决定先从自己跑一遍代码开始。然而，作为菜鸟的我却在过程中遇到诸多问题，故我写下这一篇文章，既是对解决问题过程的记录，也是对自身思路的整理 一、环境配置 1. 下载anaconda、pycharm 下载了anaconda，然后发现在navigator里点不开pycharm。但直接开pycharm，并选择anaconda做环境却可行。 2. 各种库的安装 pycharm自动安装可以解决大部分库，但是有几个库...
python学习笔记2:跑kg-bert代码过程中遇到的问题
weixin_47963230的博客
04-02 1096
上回说到，我尝试运行kkg-bert源代码，并遇到了各种问题并寻找方法将他们解决。今天我的计划是，继续解决问题，成功运转代码后，开始阅读并深入理解 二、继续解决报错 我的主要课题是link prediction功能，因此我的阅读也以这个.py文件为主。 之前以为我的硬件设置有问题，代码没有成功运行，不过放置了一会居然开始运作了，并且出现了像那么一回事的一些运行结果。不过在output变量的目标文件夹中并没有发现变化，应该还是存在一些问题导致不能成功运作。...
《KG-BERT: BERT for Knowledge Graph Completion》
jst100的博客
06-10 707
文章地址：https://arxiv.org/pdf/1909.03193.pdf?ref=https://githubhelp.com   针对于知识图谱完整性的判断任务，作者将知识图视为一个三元组文本序列，并且提出了一个全新的知识图双向Transformer编码框架（KG-BERT）来对这些三元组进行建模。这也是首次将预训练语言模型用于知识图谱当中。  针对三元组的合理性判断问题，作者提出的模型框架如上图所示，处理方式比较简单，也就是将头实体、关系和尾实体中间用BERT特殊tok...
【预训练语言模型】KG-BERT: BERT for Knowledge Graph Completion
夏栀的博客
12-31 6886
【预训练语言模型】KG-BERT: BERT for Knowledge Graph Completion 核心要点： 知识图谱是不全的，先前的补全方法只是考虑稀疏的结构信息，忽略了上下文的文本信息； 将实体、关系和三元组是为序列，并将知识图谱补全的任务视作序列分类任务； 简要信息： 序号 属性 值 1 模型名称 MT-DNN 2 发表位置 ACL 2019 3 所属领域 自然语言处理、预训练语言模型 4 研究内容 预训练语言模型、多任务学习 5 核心内容 Multi-t
KG-BERT: BERT for Knowledge Graph Completion 2019ACL
失眠的树的博客
05-31 1280
把BERT用在知识图谱补全上提出KG-BERT模型，在预训练好的BERT基础上继续fine-tuning。
Knowledge Graph Completion（知识图谱补全）
热门推荐
nakaizura
08-09 2万+
知识图谱补全算法能让知识图谱变得更加完整,按照能否处理新实体或者新关系，可以将知识图谱补全算法分成两类： 静态知识图谱补全（Static KGC），该场景的作用是补全已知实体之间的隐含关系。仅能处理实体以及关系都是固定的场景，扩展性较差 动态知识图谱补全（Dynamic KGC），涉及不止知 识图谱G中的实体或关系，该场景能够建立知识图谱与外界的关联，从而扩大知识图谱的实体集、关系集以及三元组集。可以处理含有新实体或者新关系的场景，能够构造动态的知识图谱，具有更好的现实意义 虽然知识图谱能提供高质量的结
Transformer BERT KG-BERT
weixin_43235829的博客
02-23 2193
第二次组会 10.26 研究方向：知识表示学习 两个重要的知识表示学习综述： 知乎： 1. KG笔记十、知识图谱嵌入(KG Embedding)https://zhuanlan.zhihu.com/p/354867179 2. 刘知远大神《知识表示学习研究进展》的学习小结https://zhuanlan.zhihu.com/p/356147538 3. 知识图谱最新权威综述论文解读：知识表示学习部分https://zhuanlan.zhihu.com/p/141396088 下次讨论的论文： Interac
【论文阅读笔记 KDD2021】《Relational Message Passing for Knowledge Graph Completion》
weixin_44834526的博客
02-28 2297
知识图完成旨在预测知识图中实体之间缺失的关系。在本文中，我们提出了一种用于知识图完成的关系消息传递方法。与现有的基于嵌入的方法不同，关系消息传递只考虑知识图中没有实体 id 的边特征(即关系类型) ，并在边之间迭代传递关系消息以聚合邻域信息。
BERT-AttributeExtraction：在KnowledgeGraph中使用BERT进行属性提取。 微调和特征提取。使用基于伯伯的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取
02-03
BERT属性提取 基于bert的知识图谱属性撤销 将BERT用于KnowledgeGraph中的属性提取有两种方法，即微调和特征提取。 知识图谱百度百科人物词条属性撤除，使用基于伯特的微调微调和特征提取特征提取方法进行实验。 先决条件 Tensorflow >=1.10 scikit-learn 预训练模型 ：简体中文和繁体中文，12层，隐藏768、12头，110M参数 正在安装 没有 数据集 该数据集是根据百度百科字符条目构建的。 筛选出不包含实体和属性的语料库。 实体和属性是从名称实体识别获得的。 标签是从“百度百科”信息框中获取的，大多数标签是手动标签的，因此有些标签不是很好。 例
TuckER：Tensor Factorization for Knowledge Graph Completion.pdf
08-09
Knowledge graphs are structured representations of real world facts. However, they typically contain only a small subset of all possible facts. Link prediction is a task of inferring missing facts based on existing ones. We propose TuckER, a relatively simple but powerful linear model based on Tucker decomposition of the binary tensor representation of knowledge graph triples. TuckER outperforms all previous state-of-the-art models acrossstandardlinkpredictiondatasets. Weprove that TuckER is a fully expressive model, deriving the bound on its entity and relation embedding dimensionality for full expressiveness which is several orders of magnitude smaller than the bound of previous state-of-the-art models ComplEx and SimplE. We further show that several previously introducedlinearmodelscanbeviewedasspecial cases of TuckER.
Unifying Large Language Models and Knowledge Graphs: A Roadmap综述笔记-入门-知识图谱KG-大模型LLM
好好学习|学无止境
11-26 1887
LLMs，例如chatGPT和GPT4，由于其涌现能力和泛化性，对自然语言理解和人工智能领域产生了新的冲击。然而，LLMs是一个黑箱模型，往往缺乏捕获和获得事实知识。相反，知识图谱，例如维基百科等，是有结构模型。存储着丰富的事实知识。KGs可以通过提供额外的知识去增强大语言模型的推理和解释性。同时，知识图谱也很难去自然构造和进化，对于现有的知识图谱方法来说，生成新的事实和表示未知数据是一个挑战。因此，统一LLMs和KG，同时利用他们的优点是一种补充。在这篇文章中，我们提出了统一LLMs和KG的路线图。
论文浅尝 | Hybrid Transformer Fusion for Multimodal KG Completion
开放知识图谱
11-30 1375
笔记整理：陈子强，天津大学硕士，研究方向为自然语言处理论文链接：https://arxiv.org/pdf/2205.02357.pdf动机尽管多模态知识图谱补全较单模态知识图谱补全已经有了很大的改进，但仍然存在两个限制。（1）架构的通用性。不同的多模态知识图谱补全需要在不同的编码器架构之上建立特定的、单独参数化的融合模块。因此需要一个统一的模型用于各个多模态知识图谱补全任务。（2）模态噪声。当前...
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6126
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
论文浅尝 - ISWC2020 | KnowlyBERT: 知识图谱结合语言模型补全图谱查询
开放知识图谱
11-15 2115
论文笔记整理：胡楠，东南大学博士。来源：ISWC 2020动机像Wikidata这样的现代知识图已经捕获了数十亿个RDF三元组，但是它们仍然缺乏对大多数关系的良好覆盖。同时在NLP研究的...
自然语言处理——知识图谱——Knowledge graph completion
Wangpeiyi9979的博客
09-25 1938
文章目录一、任务定义二、数据集三、评价指标四、相关工作 一、任务定义 Knowledge graph completion旨在给定(1)关系(2)其中一个实体，然后预测另外一个实体。如: 给出(创建:r，苹果:o)，然后模型给出乔布斯:s. 二、数据集 本着了解任务的目标，这里笔者研究了该任务的其中一个数据集FB15K-237. 改数据集有两类形式的文件: (1) 三元组： /m/0grwj【头...
知识图谱与bert
UpUp的博客
11-18 1723
一、图谱补全 1.KG-BERT: BERT for Knowledge Graph Completion (计算三元组的分类、实体预测、关系预测都达到SOTA水平) 1.1背景和目的 三元组的知识图谱在完整度上还有很大的差距 ，评估图谱中不存在的三元组的合理性。 现有方法中，其一 knowledge graph embedding，由于图谱稀疏性只用了结构信息。 其二，使用了文本信息，忽略了上下文下信息 本文方法：将实体和关系视为文本序列，将补全问题视为序列分类问题。之后fine-tune bert来实现
Molecular-graph-BERT 代码实现
05-26
Molecular-graph-BERT 是一种基于图神经网络的化学分子表示方法，可用于分子性质预测、分子设计等应用。以下是 Molecular-graph-BERT 的代码实现。 1. 安装依赖 ```python !pip install torch !pip install dgl !pip install rdkit ``` 2. 数据预处理 ```python import dgl from rdkit import Chem from dgl.data.utils import load_graphs, save_graphs from dgl.data.chem.utils import smiles_to_bigraph, CanonicalAtomFeaturizer # 将 SMILES 序列转换为 DGLGraph def graph_from_smiles(smiles): mol = Chem.MolFromSmiles(smiles) return smiles_to_bigraph(smiles, atom_featurizer=CanonicalAtomFeaturizer()) # 读取数据，并将 SMILES 序列转换为 DGLGraph data = [] with open('data.txt', 'r') as f: for line in f: smiles, label = line.strip().split('\t') g = graph_from_smiles(smiles) label = int(label) data.append((g, label)) # 将 DGLGraph 序列化并保存为二进制文件 save_graphs('data.bin', data) ``` 3. 定义模型 ```python import torch import torch.nn as nn import dgl.function as fn # 定义 GraphConvLayer class GraphConvLayer(nn.Module): def __init__(self, in_feats, out_feats): super(GraphConvLayer, self).__init__() self.linear = nn.Linear(in_feats, out_feats) self.activation = nn.ReLU() def forward(self, g, features): with g.local_scope(): g.ndata['h'] = features g.update_all(fn.copy_u('h', 'm'), fn.sum('m', 'neigh')) h_neigh = g.ndata['neigh'] h = self.linear(features + h_neigh) h = self.activation(h) return h # 定义 MolecularGraphBERT 模型 class MolecularGraphBERT(nn.Module): def __init__(self, hidden_size, num_layers): super(MolecularGraphBERT, self).__init__() self.embed = nn.Embedding(100, hidden_size) self.layers = nn.ModuleList([GraphConvLayer(hidden_size, hidden_size) for _ in range(num_layers)]) self.pool = dgl.nn.pytorch.glob.max_pool def forward(self, g): h = self.embed(g.ndata['feat']) for layer in self.layers: h = layer(g, h) g.ndata['h'] = h hg = self.pool(g, g.ndata['h']) return hg ``` 4. 训练模型 ```python from torch.utils.data import DataLoader from dgl.data.utils import load_graphs # 加载数据 data, _ = load_graphs('data.bin') labels = torch.tensor([d[1] for d in data]) # 划分训练集和测试集 train_data, test_data = data[:80], data[80:] train_labels, test_labels = labels[:80], labels[80:] # 定义训练参数 lr = 0.01 num_epochs = 50 hidden_size = 128 num_layers = 3 # 定义模型和优化器 model = MolecularGraphBERT(hidden_size, num_layers) optimizer = torch.optim.Adam(model.parameters(), lr=lr) # 训练模型 for epoch in range(num_epochs): model.train() for i, (g, label) in enumerate(train_data): pred = model(g) loss = nn.functional.binary_cross_entropy_with_logits(pred, label.unsqueeze(0).float()) optimizer.zero_grad() loss.backward() optimizer.step() model.eval() with torch.no_grad(): train_acc = 0 for g, label in train_data: pred = model(g) train_acc += ((pred > 0).long() == label).sum().item() train_acc /= len(train_data) test_acc = 0 for g, label in test_data: pred = model(g) test_acc += ((pred > 0).long() == label).sum().item() test_acc /= len(test_data) print('Epoch {:d} | Train Acc {:.4f} | Test Acc {:.4f}'.format(epoch, train_acc, test_acc)) ``` 以上就是 Molecular-graph-BERT 的代码实现。需要注意的是，由于 Molecular-graph-BERT 是基于图神经网络的方法，需要使用 DGL 库来构建和操作图数据，因此需要先安装 DGL 库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Chaser_Hc

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>