知识图谱
文章平均质量分 83
羊城迷鹿
你相信魔法吗?
展开
-
知识图谱gds使用记录
在每次传播迭代中,每个节点将其标签更新为其邻居节点中最常见的标签。这个过程会不断重复,直到标签达到收敛,即每个节点的标签与其邻居节点的大多数标签相同。通过标签的传播,密集连接的节点组很快就会形成共识,并形成一个社区。在传播结束时,只有少数几个标签会保留下来,大多数标签会消失。算法的核心思想是通过在网络中传播标签来形成社区。PageRank算法考虑节点的入度和出度计算重要性,可以识别影响力较大的节点。上述代码中第二个参数是节点,第三个参数是关系,可以通过字符串或列表的形式根据单个或多个节点和关系建图。原创 2024-01-09 15:24:13 · 449 阅读 · 0 评论 -
neo4j图数据库的简单操作记录
知识图谱文件导出首先停止运行sudo neo4j stop然后导出数据库导出格式为:具体命令如下sudo neo4j-admin database dump --to-path=/home/ neo4j最后重启sudo neo4j start知识图谱外观修改在网页点击节点,选中一个表情后点击,可修改其颜色、大小和显示的属性。原创 2024-01-08 11:21:31 · 657 阅读 · 0 评论 -
基于数据库和NER构建知识图谱流程记录
这样跑是能跑,但是速度会非常慢,因为每次都从所有的节点里面找。我们可以观察到,对某种特定的关系,头实体和尾实体都属于某种特定的节点类型,因此可以先把所有这一类型的节点存到一个字典里,再在这个字典里做匹配,这也是目前实现的算法。为了将数据库中字段解析为知识图谱的内容,需要完成以下几部分的功能:一是直接与数据库交互,二是通过NER解析文本描述内容,三是计算时间和地点间的相似度。其实知识图谱的构建常常是节点和边同时构建的,但由于我们的数据量非常大,同时构建逻辑比较复杂,所以采取了先统一建节点,后统一建边的逻辑。原创 2024-01-05 12:09:09 · 1084 阅读 · 0 评论 -
Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings论文阅读
扩展的方式是加入所谓的special tokens,为了让special tokens有明确的语义,还需要加入以下的预训练任务。看到这里我才理解整个KNN算法,给定一个最近邻居k,是在知识库中筛选出k个离给定嵌入表示最近的实体,然后用距离表示它们的概率,并与另一种方式计算出来的概率加权。知识库中以(k,v)对的形式存储实体与嵌入的关系,其中k是基于描述或三元组的嵌入,v是对应实体的名称,论文使用开源的FAISS来执行高维空间的检索算法。从包含语义信息的实体描述和包含结构信息的实体三元组两方面来构建知识库。原创 2023-01-27 18:16:12 · 787 阅读 · 0 评论 -
I Know What You Do Not Know: Knowledge Graph Embedding via Co-distillation Learning
这里可能是为了强调要把target entity预测对,损失函数分为两部分,前半部分是target,后面是非target,由于KL散度要处理的是分布,因此把target由标量转为向量如下图所示。论文以类似的提示词方式计算两个方向上的邻居嵌入并求和,不过反正最后是相加,所以其实没必要分开写。以一种递归的模式,上述基于三元组的重建过程可以推广到基于邻居子图的重建。传统的蒸馏学习中,用t表示老师,s表示学生,损失函数如下。是关系相关的提示词,会被加入词表中,下标对应不同的位置。共蒸馏确实利用了两个模型的互补性。原创 2022-10-27 13:54:20 · 468 阅读 · 0 评论 -
Inductive Entity Representations from Text via Link Prediction
定义一个带实体描述的知识图谱为G=(E,R,T,D)G=(E,R,T,D),其中一个三元组记做(ei,rj,ek)(ei,rj,ek),对实体eie_iei的文本描述为dei=(w1,…,wn)∈Ddei=(w1,…,wn)∈D链路预测的目标是让正样本的得分高于负样本Bert对文本表示进行编码,经过投影矩阵得到实体表示。原创 2022-10-17 16:48:23 · 747 阅读 · 0 评论 -
Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion
不可见实体实验,其中First Probing Task指的是测试集中只包含训练时没见过的实体,Second Probing Task指的是从训练集中随机删除实体,Third Probing Task指的是测试集中只保留训练时见过的实体。孪生神经网络的用途是显而易见的,就是判断两个相似的输入是否是相同的,比如人脸或者是签名识别等等。孪生模型还有两个变种,一种是让两个网络不共享权重甚至完全是不同结构的网络,称之为伪孪生神经网络,主要用来处理输入和输出差距较大的情况,比如说判断文章的标题和内容是否匹配。原创 2022-10-14 10:26:34 · 515 阅读 · 3 评论 -
Multi-Task Learning for Knowledge Graph Completion with Pre-trained Language Models
其实到这里就能看出来了,这篇文章做的并不是纯粹的多任务预测,因为不同任务的输入是不一样的,这里的输入就是。其实就是拉开正样本和负样本的分差,增强模型的判别能力。做链路预测时还是要把h+r+t作为输入并打分。引入关系预测和相关性排序这两个新任务。,将其名称和描述拼接,例如对于。以多任务形式训练KGBERT。为负采样结果,损失函数如下。为分类权重,损失函数如下。为打分权重,损失函数如下。对应的隐藏向量的表示,原创 2022-10-03 18:57:14 · 183 阅读 · 0 评论 -
KG-BERT: BERT for Knowledge Graph Completion
将三元组的名字和描述拼接后得到完整的句子,送入bert得到对整个三元组的表示,用这个表示去执行三元组分类任务或关系预测以微调bert。一个比较有意思的实验是,在较小的训练集比重下,也能得到很好的结果。第一篇使用预训练语言模型做知识图谱补全的论文。原创 2022-10-02 16:51:17 · 311 阅读 · 0 评论 -
Rethinking Graph Convolutional Networks in Knowledge Graph Completion
知识图谱表示为K={(ei,rj,ek)}⊂E×R×EK={(ei,rj,ek)}⊂E×R×E,可以由一个三阶邻接张量X∈{0,1}∣E∣×∣R∣×∣E∣X∈{0,1}∣E∣×∣R∣×∣E∣唯一确定给定三元组(hi,rj,tk)∈E×R×E(hi,rj,tk)∈E×R×E。原创 2022-09-21 20:07:36 · 843 阅读 · 0 评论 -
IJCAI22:Language Models as Knowledge Embeddings
虽然说是对比学习,但感觉对正负样本对的定义有点奇怪,其实还是负采样,跟之前的方法没有本质区别,最大的创新点是把头实体加关系、以及尾实体分别用文本表示了看了一下github上放出来的代码,运行时间有点吓人,跑一次模型需要两天以上。原创 2022-09-16 21:15:54 · 936 阅读 · 0 评论 -
ReInceptionE: Relation-Aware Inception Network with Joint Local-Global Structural Information
研究问题提出一种关系敏感且能充分利用局部和全局结构信息的嵌入模型背景动机ConvE模型的交互数受限,且没有充分考虑结构信息,论文使用Inception卷积网络以增强交互KBGAT考虑到了结构信息,但需要进行多跳推理,论文认为可以通过从局部邻域和全局实体的相关查询子图中对这一过程进行简化。如下图所示,全局头邻居即关系在整个数据集中连接到的头实体,全局尾邻居即关系在整个数据集中连接到的尾实体模型方法总体框架ReInceptionE总体架构如上,包括了Inception-based que原创 2022-03-10 20:37:36 · 849 阅读 · 0 评论 -
Knowledge graph embedding with hierarchical relation structure
研究问题利用知识图谱中关系的层次结构来提升模型的性能背景动机传统方法直接将关系转换为向量表示,没有利用到其中的层次结构信息论文认为知识图谱中的关系有三层层次结构:relation clusters, relations and subrelations。语义上相似的relation如 producerOf和directorOf都描述了某人和电影间的关系,就可以构成relation clusters,从而形成知识共享;subrelations指的是同一relation的不同语义,比如partOf在(原创 2022-01-04 14:22:11 · 1020 阅读 · 4 评论 -
TransRHS: A Representation Learning Method for Knowledge Graphs with Relation Hierarchical Structure
研究问题在学习知识图谱上的嵌入时对关系的层次结构(RHS)进行建模背景动机这里首先要介绍一下2018年的一篇论文《Knowledge graph embedding with hierarchical relation structure》,原创 2021-12-31 20:38:38 · 820 阅读 · 0 评论 -
ParamE: Regarding Neural Network Parameters as Relation Embeddings for Knowledge Graph Completion
研究问题将神经网络的参数视为关系嵌入,增强模型的表达性以及保持可翻译性背景动机原创 2021-12-19 17:30:23 · 893 阅读 · 2 评论 -
LightCAKE: A Lightweight Framework for Context-Aware Knowledge Graph Embedding
研究问题提出了一个轻量级的知识图谱嵌入模型框架,可以用有限的参数有效利用实体和关系的上下文信息,并可以直接用来提升仅基于嵌入的老模型的效果背景动机论文首先提出了实体上下文和关系上下文的概念。对于实体上下文,它其实就是现在大多数GNN模型所利用的信息,即一个实体的邻居实体及其相连的边;而关系上下文就是一个给定关系的两个实体端点,这是一个比较新的概念。作者举了一个实体上下文例子,要判断Hillary Clinton和Joe Biden谁是美国总统时,由于Joe Biden的实体上下文有succeeded原创 2021-12-19 14:39:27 · 756 阅读 · 0 评论 -
Contextual Parameter Generation for Knowledge Graph Link Prediction
研究问题提出了一种新的实体和关系交互的方式,即将关系看做是实体的上下文,并直接用关系来为不同的预测任务生成不同的模型参数,用生成的参数将头实体嵌入转换为尾实体嵌入背景动机目前已有的链路预测方法都是通过加性的方法(最常见的就是拼接之后做线性映射)将头实体和关系的嵌入结合后预测尾实体的,论文认为这种简单的交互限制了模型的表达能力,论文模型的结构如下符号定义假设头实体、关系和尾实体的嵌入分别定义为数学公式:es,r,ete_{s}, r, e_{t}es,r,et,实体和关系的嵌入集合分别表示为数原创 2021-12-19 14:29:58 · 322 阅读 · 0 评论 -
Neural Methods for Logical Reasoning over Knowledge Graphs
研究问题论文研究了知识图谱上的多跳逻辑查询,使用基于嵌入的神经网络模型去回答包含非的一阶逻辑查询。背景动机推理定义为在已知事实和逻辑规则的基础上去推导出新的知识一阶逻辑(FOL)包括以下几种基本的逻辑操作符:存在(∃)(\exists)(∃)、合取(∧)(\wedge)(∧)、析取(∧)(\wedge)(∧)、非(¬)(\neg)(¬)。但之前的模型只能处理正一阶逻辑(PFOL),即除非之外的逻辑操作符,论文补充了这一点大规模知识图谱的不完整性增加了在上面进行推理的难度符号定义知识图谱表原创 2021-11-28 20:38:13 · 459 阅读 · 0 评论 -
NodePiece: Compositional and Parameter-Efficient Representations of Large Knowledge Graphs
研究问题将自然语言处理的WordPiece技巧迁移到知识图谱中并提出NodePiece,从而用较少的子实体嵌入去建模大规模知识图谱上的实体嵌入,并增强模型的泛化性能。背景动机大规模知识图谱的出现,使得学习所有节点的嵌入变得非常困难NLP领域也面临过此表太大难以对所有词的嵌入建模的问题,采用了WordPiece技巧来解决。它不再把一个词看成一个整体,而是分割成几个子词。比如"loved",“loving”,“loves"这三个单词,其实本身的语义都一样,但是如果我们以单词为单位,那它们就算不一样的词原创 2021-11-06 16:04:41 · 1104 阅读 · 1 评论 -
Explaining Knowledge Graph Embedding via Latent Rule Learning
研究问题将知识图谱嵌入由一步预测转变为多步推理预测,通过向量空间中的相似性解释每一步,提高其可解释性的同时保证预测效果不下降背景动机知识图谱嵌入由于是一步预测出最终结果,缺乏透明度和可解释性一些具有较强可解释性的方法如强化学习是通过多步预测来获得可解释性的,作者因此想将此思想借鉴到知识图谱嵌入领域论文总结了当前对神经网络黑盒模型进行解释的四种方法,论文使用了如下图所示的代理模型+知识蒸馏来生成解释:学习一个self-explanatory的局部代理模型,代替原来的目标模型改变神经网络的输入原创 2021-11-06 16:03:15 · 717 阅读 · 0 评论 -
KGRefiner: Knowledge Graph Refinement for Improving Accuracy of Translational Link Prediction Method
研究问题提出了一种适用于基于翻译的链路预测模型的知识图改进办法,通过在图上引入实体和关系的层次结构信息来提升预测效果背景动机传统的基于翻译的模型比基于神经网络的模型运算速度快得多,而性能下降并不是太多,因此作者想对这些模型做一些改进知识图改进指的是对知识图谱的图结构进行修正(去除错误信息)或提升(增加额外信息)SACN通过将节点属性建模成额外节点来做知识图改进,但这种方法有一些缺陷,首先是它只适用于FB数据集,然后它添加了过多的关系,最后它缺乏可解释性,针对这三个不足,论文做出了对应的改进模原创 2021-11-06 16:01:52 · 174 阅读 · 0 评论 -
InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions
研究问题在ConvE的基础上提出了InteractE,通过进一步增强关系嵌入与实体嵌入间的交互,提升链路预测任务的效果背景动机ConvE通过将一维的实体和关系嵌入转换为二维并拼接作为卷积操作的输入来增强交互性,这对提升性能有一定效果,但这种简单方法的交互性还不够。符号定义假设实体嵌入和关系嵌入分别表示为es=(a1,…,ad),er=(b1,…,bd)\boldsymbol{e}_{s}=\left(a_{1}, \ldots, a_{d}\right), \boldsymbol{e}_{r原创 2021-10-16 17:38:49 · 997 阅读 · 6 评论 -
Towards Understanding the Geometry of Knowledge Graph Embeddings
研究问题论文对知识图谱的嵌入进行了一些几何属性的研究,并指出了什么样的几何属性可以获得更好的结果,如何获得这样的几何属性背景动机之前已经有工作对词嵌入的几何属性进行了分析,但知识图谱领域还没有相关的研究知识图谱分为加性、乘性和神经网络模型,不同类型的模型学习到的嵌入应该会有不同的几何属性,并进而导致有不同的表现知识图谱需要使用负采样的方法进行训练,负采样时样本数目也会对几何属性产生影响实验设置模型分类TransE、TransR、STransE为加性模型DistMult、HolE、C原创 2021-10-04 16:34:09 · 158 阅读 · 0 评论 -
A Re-evaluation of Knowledge Graph Completion Methods
研究问题论文指出近年来的几种最佳模型取得的效果提升有一部分来源于评估方式的误差,该指标下即使模型保持输出一个常数也能得到不错的结果,并提出了一种新的评估指标对模型进行了重新评估。论文里的一些观察最近的许多方法都报告了在一个数据集上效果的极大改善,但在另外一个数据集上却没有取得多少改进,如下图所示,以convE为基准,非神经网络模型在WN18数据集上基本能取得不错的进步,神经网络模型在FB数据集上很不错,在WN18数据集上效果反而是下降的论文对最近的一些神经网络模型的三元组得分函数的分布进行了原创 2021-10-04 16:32:23 · 371 阅读 · 0 评论 -
Robust Knowledge Graph Completion with Stacked Convolutions and a Student Re-Ranking Network
研究问题创建了稀疏连接的知识图谱数据集,并研究如何在稀疏连接的知识图谱上完成链路预测任务背景动机目前常用的知识图谱补全数据集都是基于稠密连接的假设创建的,比如FB15K数据集创建时就只包含至少有一百条边关联的实体,但这与实际情况不符,限制了模型在实际中的应用现有模型的复杂程度不够,论文对如何堆叠卷积进行了研究现有模型都是直接给出候选实体的分数排名,论文使用Student网络对其进行了Re-rank(知识图谱的稀疏性带来了一些标签噪声,而知识蒸馏有助于提升模型在噪声下的表现)数据集构造论文构原创 2021-09-15 15:37:58 · 432 阅读 · 9 评论 -
Knowledge Embedding Based Graph Convolutional Network
研究问题提出了一种可以充分结合异构的节点信息和边信息,同时学习这两者的嵌入的图卷积网络KE-GCN,并将之前的几种知识图谱CNN纳入一个统一的框架下背景动机传统的图卷积模型一般不关注学习边的嵌入,且无法处理异构的边信息知识图谱领域的大多数嵌入学习方法没有利用到图的结构信息知识图谱领域的图卷积模型虽然同时学习了节点和边的嵌入,但主要精力还是在根据关系嵌入优化实体嵌入,而没有对称的过程模型方法重新解释邻居聚合公式传统GCN对非异构边的邻居聚合公式可以表示为现在引入得分函数f估计每条边原创 2021-09-15 15:36:40 · 1039 阅读 · 0 评论 -
Explainable Link Prediction for Emerging Entities in Knowledge Graphs
研究问题可解释的动态知识图谱链路预测模型,这里的动态指的是实体可以动态添加,即训练时不要求所有实体都存在背景动机传统的嵌入模型不具备显式的可解释性基于路径的模型无法利用嵌入模型所能挖掘到的统计信息一些将二者相结合的模型只能处理static snapshots,即所有实体要在训练时已知而不能动态添加模型方法总体思路Graph Transformer作为编码器归纳式地聚合邻域信息和当前查询关系,使用强化学习方法作为解码器推导推理路径Graph Transformer将实体的邻居原创 2021-09-15 15:33:41 · 205 阅读 · 0 评论 -
Embedding Knowledge Graphs Attentive to Positional and Centrality Qualities
研究问题之前的方法中,实体嵌入只利用了周围邻居的信息,本篇论文试图在知识图谱嵌入的学习过程中引入节点相对于全图的位置和中心性特征背景动机论文中举了这样一个例子,由于e1和e2的邻居基本一样,传统方法很难区分学习二者的嵌入。但是由于e1连接的哈佛大学比e2连接的耶鲁大学的特征向量中心度更高,所以e1比e2的特征向量中心度更高,如果把这个额外的全局信息加进去会有助于区分二者的嵌入。符号定义知识图谱包括实体集合,关系集合,嵌入学习任务定义为函数,其中Structure-based Embed原创 2021-09-15 15:32:48 · 177 阅读 · 0 评论 -
Association Rules Enhanced Knowledge Graph Attention Network
研究问题将规则与知识图嵌入的学习过程相结合,提出了一种同时基于图结构和逻辑规则的注意力机制关联规则挖掘首先论文定义了以下规则:One-to-One Association RulesInference Rule此类规则发现同一头和尾实体的单跳同向关系的相关性:例子:Anti-symmetry Rule此类规则发现同一头和尾实体的单跳反向关系的相关性:例子:N-to-One Association Rules此类规则发现多个三元组间的传递性关联规则挖掘原创 2021-09-15 15:27:50 · 219 阅读 · 0 评论 -
End-to-end Structure-Aware Convolutional Networks for Knowledge Base Completion
研究问题将图网络作为编码器,将Conv-TransE作为解码器,应用于知识图谱补全任务背景动机ConvE模型在做卷积之前对embedding实施了reshape操作,并且没有保留TransE系列模型的可翻译属性ConvE模型没有把知识图谱的连通性纳入考虑模型思想提出了一种端到端的图结构敏感的卷积网络,编码器为WGCN,将节点结构、节点属性、关系类型作为输入;解码器为Conv-TransE,在ConvE的基础上可以保留实体到关系嵌入之间的翻译属性。模型框架总体流程编码器计算出嵌入矩阵原创 2021-09-15 15:26:02 · 1184 阅读 · 1 评论 -
Interaction Embeddings for Prediction and Explanation in Knowledge Graphs
研究问题研究了实体嵌入和关系嵌入之间的交叉交互问题,并试图为三元组提出可依赖的解释背景动机之前的基于嵌入的模型没有把crossover interactions纳入考虑,即从实体到关系的交互和从关系到实体的交互(大部分模型没有考虑这二者的交互,少部分模型只考虑了从关系到实体的交互)论文举了一个例子,假设上图中的实线是已知三元组,虚线是未知三元组,目标是预测。则关系到实体的交互可以定义为“要预测的关系会影响到实体的信息筛选”,也就是预测时选择红色的线而非蓝色的线作为输入信息;而实体到关系的交互原创 2021-09-15 15:24:45 · 446 阅读 · 0 评论 -
embedding entities and relations for learning and inference knowledge base
研究问题提出了一种可以解释NTN和TransE等模型的通用框架,并通过一种双线性计算的实现取得了最佳效果,并且提出了一种从学到的关系嵌入中挖掘关系间逻辑规则的方法背景动机目前还没有一个模型做不同实体嵌入以及关系操作符的选择对预测效果影响的实验现有的用来评估效果的链路预测实验只能间接显示低维嵌入的意义,很难解释在此过程中捕获了什么关系属性传统的规则抽取算法主要靠探索所有可能的搜索路径来查找规则,在知识图谱规模较大时会失效,本文提出基于embedding的方法和知识图谱的规模无关,只和关系的数量有关原创 2021-09-15 15:22:51 · 320 阅读 · 0 评论 -
Using a General Prior Knowledge Graph to Improve Data-Driven Causal Network Learning
研究问题论文提出了一种Kg2Causal的方法,用于使用知识图谱作为数据驱动的因果网络结构学习的先验,并对原始观测数据集和加入干预之后的观测数据集都能起到作用。背景动机标准的因果网络推理方法使用无信息的先验,由于较大的潜在网络空间以及马尔科夫等价类的存在,这可能导致学习出错误的关系或关系方向。在因果模型的应用领域如医学,有大量的先验知识是可以被应用的模型思想论文使用了一种基于分数的启发式禁忌搜索算法,但是在其中加入了来自知识图谱的额外的先验信息,并在五个真实数据集和两个合成数据集上分别验证了原创 2021-09-14 15:12:33 · 358 阅读 · 1 评论 -
Causal Discovery in Knowledge Graphs by Exploiting Asymmetric Properties of Non-Gaussian Distributio
研究问题在知识图谱中发现变量之间的因果序,将知识图谱上的矩阵分解和基于矩阵的因果发现算法做了一个结合背景动机知识图谱上一些三元组的存在会对另一些三元组的存在产生影响,这种统计依赖性为因果发现提供了可能。论文特别说明假设不存在混杂因素,所有变量都被观测到了因果发现有助于提升推理的可解释性其他在知识图谱上做因果推断的算法需要一些领域知识,本文算法不需要模型思想第一步是使用TuckER算法对知识图谱上的邻接张量做矩阵分解,得到核心张量;然后对核心张量经过投影和维度变换得到一个数据矩阵;然后验证数原创 2021-09-14 15:11:21 · 627 阅读 · 0 评论 -
You can teach an old dog new tricks on training knowledge graph embeddings论文及代码分析
研究问题论文认为模型的训练方式、超参数、损失函数等模型结构之外的细节比模型结构本身重要,一些效果很差的古早模型换了一些训练方式之后,表现不亚于最近的模型,同时不同模型结构也适用于不同的训练方法结构之外的因素Training type:训练KGE模型有三种常用的方法,它们的区别主要在于生成负样本的方式NegSamp:对于给定的三元组t = (i; k; j),对其中的i,k,j进行随机扰动,并确保得到的三元组在知识图谱中是不存在的1vsAll:省略采样,把所有的可以通过替换i或j得到的三元组作原创 2021-09-16 17:22:04 · 437 阅读 · 0 评论 -
知识图谱实体预测任务如何计算filtered MRR
什么是filtered MRR?首先什么是MRR呢?MRR即Mean Reciprocal Rank,在实体预测任务中,给定头/尾实体和关系,预测缺失的尾/头实体,由于预测难度较大,实体数量较多,难以直接用准确率来衡量模型性能(也就是如果正确实体的预测分数最大得一分,不是最大得零分),因此选用了更具平滑性的MRR。在MRR的计算过程中,目标实体的分数最大得一分,排第二大得1/2分,第三大得1/3分,最后取所有样本的平均记为整体的MRR。那什么是filtered MRR呢,在论文《Interaction原创 2021-08-03 17:32:44 · 2210 阅读 · 6 评论