知识图谱-KGE-语义匹配-双线性模型-2018：SimplE

已于 2024-02-14 22:40:08 修改
阅读量652 收藏 1
点赞数
分类专栏： 知识图谱（Knowledge Graph） 文章标签： 知识图谱 人工智能
于 2022-12-07 18:41:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/128225084
版权
SimplE是由加拿大英属哥伦比亚大学学者在NIPS 2018上提出的一种知识图谱链接预测模型，是对传统CP模型的改进。SimplE通过增加对称项使实体的两个向量相互依赖，降低了复杂度并提高了预测性能。该模型在实验中表现出色，能以双线性形式表达，并能编码背景知识。在训练时采用L2正则化避免过拟合。
摘要由CSDN通过智能技术生成

 【paper】 SimplE Embedding for Link Prediction in Knowledge Graphs
【简介】 本文是加拿大英属哥伦比亚大学的两位学者发表在 NIPS 2018 上的工作，文章提出了 SimplE（Simple Embedding）。这篇和前面一篇差不多，也是对 1927 年的 CP 进行改进（简化），传统CP为实体分配的两个向量是独立训练的，SimplE利用关系的逆在三元组打分函数中加上了一个对称项，使得每个实体的两个向量依赖学习，并且 SimplE 的复杂度随 embedding 维度呈线性。

SimplE 可以被视为双线性模型，并且是 fully expressive，可以通过参数共享（赋权）编码背景知识；尽管（或者是因为）其简单，在实验中表现效果好。

模型

1927 年的 CP（Canonical Polyadic）在链接预测上表现效果通常很差，因为它为每个实体分配两个向量（作

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
知识图谱-KGE-语义匹配-双线性模型-2016：NAM
u013250861的博客
12-07 479
【paper】 Probabilistic Reasoning via Deep Learning: Neural Association Models 【简介】 本文是中科大和科大讯飞联合发表在 IJCAI 2016 上的工作，本文提出了 NAM（Neural Association Model）用于概率推理，并具体化为 DNN（Deep Neural Network）和 RMNN（Relation Modulated Neural Network）两种形式。本文提出用神经网络建模两个 event 之间的
知识图谱-KGE-语义匹配-双线性模型-2017：Analogy【DistMult与ComplEx的合体】
u013250861的博客
12-07 1056
【paper】 Analogical Inference for Multi-relational Embeddings 【简介】 本文是卡耐基梅隆大学的中国学者发表在 ICML 2017 上的工作，提出了 ANALOGY 模型，用于建模实体和关系的推理属性。这个模型应当也算是双线性模型中比较经典的一个了，很多模型的 baseline 中都有它。核心思想就是利用矩阵的交换性约束建模平行四边形一样的类比推理属性。ANALOGY 将关系矩阵约束为正规矩阵，由于它是 "well-behaved" linear m
A-Simple-KBQA:一个简单的基于知识图谱的问答系统
03-11
一个简单的KBQA 一个简单的基于知识图谱的问答系统 数据集：数据集为2019年语言智能大赛的关系撤除数据集 实体识别模型：利用Transformer模型进行实体识别（以后会变更为bert） 事实识别：自己构造了几十条数据，利用逻辑回归进行预测 关系类型：包含'主演'，'作者'，'歌手'，'出生日期'，'导演'，'出生地'，'出版社'，'成立日期'，'连载网站'，'国籍'，'毕业院校”，“民族”，“所属专辑”，“目”，“作曲”等15中关系类型 实体类型：包含'影视作品'，'书籍'，'歌曲'，'人物'，'企业'，'网络小说'，'生物'7种实体类型
知识图谱-KGE-模型（二）：语义匹配模型【RESCAL、DistMult、HoLE、ComplEx、ANALOGY、SNE、NTN、MLP、NAM】
u013250861的博客
11-24 1875
包括RESCAL、DistMult、HoLE、ComplEx、ANALOGY、SNE、NTN、MLP、NAM模型等；
8.15 知识图谱嵌入技术研究综述-知网-张天成、田雪、孙相会等-软件学报.2023,34(01)-语义匹配模型
weixin_45883486的博客
08-15 326
在 SME 中，实体和关系类型共享相同的表示形式，将定义多关系图的所有符号嵌入到同一空间中 (等价于删除实体和关系类型之间通常存在的概念差异)，并且定义了若干投影矩阵 (用来刻画实体与关系的内在联系)。然而，尽管 NTN 中的张量运算可以更明确地描述实体与关系之间的复杂关系语义关联，但 NTN 的高复杂性限制了其在大规模稀疏知识图谱上的应用。基于相似性评分函数的语义匹配模型，并按照对实体和关系的交互进行编码的不同模型体系结构进行划分，包括线性/双线性模型，矩阵分解模型，神经网络模型 3 个部分。
知识图谱-KGE-语义匹配-双线性模型-2018：CP
u013250861的博客
12-07 628
【paper】 Canonical Tensor Decomposition for Knowledge Base Completion 【简介】 这篇是 Facebook 法国巴黎 AI 研究中心发表在 ICML 2018 上的文章，是对传统的张量分解方法 CP（Canonical Tensor Decomposition）做的分析改进。对传统的几个双线性方法进行了详细的分析，探究了（1）最优参数与 loss 形式的影响，（2）正则化形式的影响，提出张量核 p 范数正则化方法，（3）并探究了反向关系推理的
知识图谱-KGE-语义匹配-双线性模型-2019：TuckER
u013250861的博客
12-07 696
【paper】 TuckER: Tensor Factorization for Knowledge Graph Completion 【简介】 这篇文章是英国爱丁堡大学的研究者发表于 ICML 2019 上的文章，提出了 TuckER，是一个线性的张量分解模型，对表示三元组事实的二值张量做 Tucker 分解。本模型基于 1966 年 Tucker 提出的 Tucker decomposition，它将一个张量分解为一个 core tensor 和一组矩阵相乘的形式，可以被视为一种高阶 SVD 的形式，在
知识图谱-KGE-语义匹配-双线性模型-2016：ComplEx【ComplEX是Distmul的改进】【将实数的Embedding映射到复数空间，从而可以处理非对称关系】
u013250861的博客
11-24 1549
传递性建模为：如果有a·b和b·c，是否可以推算出a·c。用(x1,y1)表示a,(x2,y2)表示b，(x3,y3)表示c。打分函数：因此，对于该function，f （h,t）= hT·r·(t),t指的是t复数域上的共轭复数。前提：采用Bilinear Model,该模型的打分函数为f （h,t）= hT·r·t。反对称性：通过对 hT·r·(~t)的高打分+ (~h)T·r·t低打分训练。基础假设：采用复数u = a + bi的方式表示h和t。传递性：不满足，可以通过点积的性质进行简单证明，
知识图谱-KGE-语义匹配-双线性模型-2019：CrossE
u013250861的博客
12-07 614
【paper】 Interaction Embeddings for Prediction and Explanation in Knowledge Graphs 【简介】 本文是浙大和苏黎世大学的学者联合发表于 WSDM 2019 上的工作，文章提出了 CrossE，模型的思想也没有很高端，就是引入了一个矩阵C，用于计算实体和关系 crossover interaction，然后挖掘出可靠路径用于为链接预测提供解释。本文的重点有两个，一个是建模了 crossover interaction，另一个是对链接
知识图谱-KGE-模型：概述【翻译模型：Trans系列】【双线性模型：DisMult、ComplEx】【神经网络模型：ConvE、CapsE】【双曲几何模型：MuRP】【旋转模型：RotatE】
u013250861的博客
11-24 1692
MuRP评分函数为 ，其中 表示在庞加莱圆盘中计算距离， 表示将庞加莱圆盘中的点映射到欧式空间， 表示对角矩阵， 表示将欧式空间中的点转移到庞加莱圆盘中， 是莫比乌斯加法，为庞加莱空间中两向量相加， 表示曲率。针对DisMult存在的问题，ComplEx把DisMult扩展到复数空间表示，并定义评分函数为 f_{r}(h,t) = Re(h^Tdiag(M_r)\bar{t}) ，其中 h, t 均用复数表示， \bar{t} 表示 t 的共轭复数，Re(\cdot) 表示取得复数的实部。
SimplE：SimplE Embedding for Link Prediction in Knowledge Graphs+代码
REfusing的博客
03-06 1813
文章目录1 介绍1.1 知识图谱1.2 知识图谱补全方法1.3知识图谱补全（Knowledge Graph Completion，KGC）1.4 关系分类2 模型2.1 双线性模型2.2 核心公式2.3 负采样2.4 损失函数2.5 评价MRRMRHITS@n3 [代码](https://github.com/baharefatemi/SimplE)3.1 数据处理模块 dataset.py3.2 模型模块 model.py3.3 训练模块 Trainer.py3.4 测试模块 Test.py3.5 评价
KBQA知识图谱问答（一）SimpleQA
BshoterJ的博客
06-21 3276
针对KBQA简单QA数据集的三篇论文阅读
知识图谱-KGE-语义匹配-双线性模型（打分函数用到了双线性函数）-2013：NTN（Neural Tensor Network）
u013250861的博客
12-07 1152
【paper】 Reasoning With Neural Tensor Networks for Knowledge Base Completion【简介】 本文是斯坦福大学陈丹琦所在团队 2013 年的工作，好像是发表在一个期刊上的。文章提出了用于知识库补全的神经网络框架 NTN（Neural Tensor Network），网络结构/打分函数中同时包含双线性函数和线性函数，并用词向量的平均作为实体的表示。NTN 的模型结构图如下：首先得到词向量空间中词的表示，然后用词的组合作为实体的表示，输入神经张量
知识图谱-KGE-语义匹配-双线性模型-2015：DistMult【把双线性模型RESCAL的关系矩阵限制为了对角矩阵】【缺点：由于只用到对角线上的元素，所以只能处理对称关系】
u013250861的博客
11-24 1448
DistMult对应的论文为，发表于ICLR 2015。我们使用神经网络嵌入学习的方法来学习知识图谱中实体和关系的表示。我们展示了最常见的模型，包括NTN和TransE，可以被归纳在一个统一的学习框架下，其中，实体是从神经网络学习出的低维向量，关系是双线性和/或线性映射函数。在此框架下，我们在链接预测任务上比较了各种嵌入模型。我们证明了一个简单的双线性公式可以在链接预测任务上实现SOTA效果（在Freebase上，Top-10达到73.2%的精确率 vs. TransE的精确率为54.7%）。
知识图谱-KGE-语义匹配-双线性模型（打分函数用到了双线性函数）-2014：TATEC
u013250861的博客
12-07 610
【paper】 Effective Blending of Two and Three-way Interactions for Modeling Multi-relational Data【简介】 本文是法国 Antoine Bordes 团队发表在 ECML-PKDD 2014 上的工作，提出了 TATEC（Two and Three-way Embeddings Combination）主要思想是混合二元和三元模型，分别训练然后进行联合微调。文章提出，之前的模型，要么太复杂导致过拟合，要么太简单导致
知识图谱-KGE-语义匹配-双线性模型（打分函数用到了双线性函数）-2014 ：SME（Semantic Matching Energy）
u013250861的博客
12-07 464
【paper】 A Semantic Matching Energy Function for Learning with Multi-relational Data【简介】 这篇文章是 Antoine Bordes 发表在 2014 年的 Machine Learning 上的工作，提出的模型和翻译模型的 UM（Unstructured Model）一毛一样，甚至使用的变量写法都是一样的，只是 UM 画了示意图、SME 没有，唯一和 UM 不同的是 SME 提供了实体和关系交互时使用的 g 函数的两种形式
**探索SimplE：革新知识图谱链接预测的高效解决方案**
gitblog_00039的博客
06-15 475
探索SimplE：革新知识图谱链接预测的高效解决方案 去发现同类优质开源项目:https://gitcode.com/ 在当前信息爆炸的时代，如何有效地理解与组织数据成为了科技领域的一大挑战。而知识图谱作为连接实体间关系的强大工具，在这一过程中扮演了至关重要的角色。SimplE，全名为Simple Embedding for Link Prediction in Knowledge Graphs，...
推荐项目：快速高效的SimplE模型实现——智能知识图谱链接预测工具
最新发布
gitblog_00014的博客
06-26 458
推荐项目：快速高效的SimplE模型实现——智能知识图谱链接预测工具 去发现同类优质开源项目:https://gitcode.com/ 在人工智能的璀璨星空中，知识图谱犹如一座座灯塔，照亮了理解世界的道路。而今天，我们要向您推荐的正是一款在知识图谱链接预测领域中闪耀的新星——一个基于SimplE Embedding模型的高效实现。让我们一同探索它的魅力所在。 项目介绍 这款开源项目旨在提供一个更快...
知识图谱的认知
Simple_ll的博客
01-01 1353
知识图谱（Knowledge Graph）是一种用图模型来描述知识和建模世界万物之间关联关系的技术方法，由节点和边组成。节点可以是实体，如一辆车、一栋房子，或为更为抽象的概念，如人工智能、知识图谱等。 知识图谱发展至今可以总结为三个时期和五个阶段。1950-1977年是启蒙期，包含了基础概念阶段和专家系统阶段的开端，这一时期文献索引的符号逻辑被提出并且应用； 1977-2012年是知识图谱不断演变的成长期，包含了大部分专家系统阶段和Web 1.0和2.0阶段，...
知识图谱-KGE-第三方库：LibKGE库【包含：TransE、TransH、ConvE、DistMult、ComplEx、TuckER、SimplE...】
u013250861的博客
11-18 1162
LibKGE的主要目的是为了助力知识图谱表示模型复现研究并提供训练方法。LibKGE提供整洁的训练实现，超参优化和评估策略。并且所有的现在的启发式实现都是基于本地配置文件，符合了软件的开闭原则，不同的参数，模型选择，只需要修改配置文件即可。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值