知识图谱-KGE-模型（二）：语义匹配模型【RESCAL、DistMult、HoLE、ComplEx、ANALOGY、SNE、NTN、MLP、NAM】

已于 2024-02-14 22:37:19 修改
阅读量1.8k 收藏 4
点赞数
分类专栏： 知识图谱（Knowledge Graph） 文章标签： 知识图谱 人工智能
于 2022-11-24 14:21:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/128017752
版权
本文详细探讨了知识图谱中的多种语义匹配模型，包括RESCAL、DistMult、HoLE、ComplEx、ANALOGY、SNE、NTN、MLP和NAM等，为读者提供了全面的入门指导。
摘要由CSDN通过智能技术生成
u013250861
关注
专栏目录
订阅专栏
知识图谱-KGE-语义匹配-双线性模型（打分函数用到了双线性函数）-2013：NTN（Neural Tensor Network）
u013250861的博客
12-07 1154
【paper】 Reasoning With Neural Tensor Networks for Knowledge Base Completion【简介】 本文是斯坦福大学陈丹琦所在团队 2013 年的工作，好像是发表在一个期刊上的。文章提出了用于知识库补全的神经网络框架 NTN（Neural Tensor Network），网络结构/打分函数中同时包含双线性函数和线性函数，并用词向量的平均作为实体的表示。NTN 的模型结构图如下：首先得到词向量空间中词的表示，然后用词的组合作为实体的表示，输入神经张量
知识图谱-KGE-语义匹配-双线性模型-2018：CP
u013250861的博客
12-07 628
【paper】 Canonical Tensor Decomposition for Knowledge Base Completion 【简介】 这篇是 Facebook 法国巴黎 AI 研究中心发表在 ICML 2018 上的文章，是对传统的张量分解方法 CP（Canonical Tensor Decomposition）做的分析改进。对传统的几个双线性方法进行了详细的分析，探究了（1）最优参数与 loss 形式的影响，（2）正则化形式的影响，提出张量核 p 范数正则化方法，（3）并探究了反向关系推理的
深度学习解决NLP问题：语义相似度计算——DSSM
热门推荐
TonyZhou的博客
07-31 2万+
在NLP领域，语义相似度的计算一直是个难题：搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。
语义相似匹配模型
weixin_36378508的博客
03-09 2608
论文地址：https://arxiv.org/pdf/1908.10084.pdf git 地址：https://github.com/UKPLab/sentence-transformers
8.15 知识图谱嵌入技术研究综述-知网-张天成、田雪、孙相会等-软件学报.2023,34(01)-语义匹配模型
最新发布
weixin_45883486的博客
08-15 327
在 SME 中，实体和关系类型共享相同的表示形式，将定义多关系图的所有符号嵌入到同一空间中 (等价于删除实体和关系类型之间通常存在的概念差异)，并且定义了若干投影矩阵 (用来刻画实体与关系的内在联系)。然而，尽管 NTN 中的张量运算可以更明确地描述实体与关系之间的复杂关系语义关联，但 NTN 的高复杂性限制了其在大规模稀疏知识图谱上的应用。基于相似性评分函数的语义匹配模型，并按照对实体和关系的交互进行编码的不同模型体系结构进行划分，包括线性/双线性模型，矩阵分解模型，神经网络模型 3 个部分。
知识图谱属性融合_融合事实信息的知识图谱嵌入——语义匹配模型
weixin_39776787的博客
12-22 1439
知识图谱嵌入知识图谱(KG)是由实体 (节点) 和关系 (不同类型的边) 组成的多关系图。每条边都表示为形式 (头实体、关系、尾实体) 的三个部分，也称为事实，表示两个实体通过特定的关系连接在一起。虽然在表示结构化数据方面很有效，但是这类三元组的底层符号特性通常使 KGs 很难操作。为了解决这个问题，提出了一种新的研究方向——知识图谱嵌入。关键思想是嵌入 KG 的组件，包括将实体和关系转化为连续的...
知识图谱-KGE-语义匹配-双线性模型-2018：SimplE
u013250861的博客
12-07 655
【paper】 SimplE Embedding for Link Prediction in Knowledge Graphs 【简介】 本文是加拿大英属哥伦比亚大学的两位学者发表在 NIPS 2018 上的工作，文章提出了 SimplE（Simple Embedding）。这篇和前面一篇差不多，也是对 1927 年的 CP 进行改进（简化），传统CP为实体分配的两个向量是独立训练的，SimplE利用关系的逆在三元组打分函数中加上了一个对称项，使得每个实体的两个向量依赖学习，并且 SimplE 的复杂度随
知识图谱-KGE-语义匹配-双线性模型-2016：NAM
u013250861的博客
12-07 479
【paper】 Probabilistic Reasoning via Deep Learning: Neural Association Models 【简介】 本文是中科大和科大讯飞联合发表在 IJCAI 2016 上的工作，本文提出了 NAM（Neural Association Model）用于概率推理，并具体化为 DNN（Deep Neural Network）和 RMNN（Relation Modulated Neural Network）两种形式。本文提出用神经网络建模两个 event 之间的
知识图谱-KGE-语义匹配-双线性模型-2017：Analogy【DistMult与ComplEx的合体】
u013250861的博客
12-07 1056
【paper】 Analogical Inference for Multi-relational Embeddings 【简介】 本文是卡耐基梅隆大学的中国学者发表在 ICML 2017 上的工作，提出了 ANALOGY 模型，用于建模实体和关系的推理属性。这个模型应当也算是双线性模型中比较经典的一个了，很多模型的 baseline 中都有它。核心思想就是利用矩阵的交换性约束建模平行四边形一样的类比推理属性。ANALOGY 将关系矩阵约束为正规矩阵，由于它是 "well-behaved" linear m
知识图谱-KGE-语义匹配-双线性模型-2019：RotatE
u013250861的博客
12-07 723
【paper】 RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space 【简介】 本文是北大和加拿大的研究团队发表在 ICLR 2019 上的文章，提出了 RotatE（Rotation Embedding），主要思想是将实体表示为复向量，关系视为从头实体指向尾实体的旋转（Rotation）。这个模型大概是看明白了的，感觉还是比较巧妙的。RotatE 的提出主要是为了建模三种关系:对称/非对称、反向关系、关系组合这里
知识图谱-KGE-语义匹配-双线性模型-2016：HolE
u013250861的博客
12-07 604
【paper】 Holographic Embeddings of Knowledge Graphs 【简介】 本文是麻省理工的研究人员发表在 AAAI 2016 上的文章，提出了 HolE(Holographic Embedding)，是一个基于向量循环关联操作的组合向量空间模型。不同论文里对同一类方法的表述不同，这里说的组合表示就是指的双线性这一类模型。模型对于三元组打分函数的定义如下：其中，∘∘ 代表组合操作，即对头尾实体根据它们的 embedding 创建一个组合向量。常用的损失函数有两种：一种是
知识图谱-KGE-语义匹配-双线性模型-2016：ComplEx【ComplEX是Distmul的改进】【将实数的Embedding映射到复数空间，从而可以处理非对称关系】
u013250861的博客
11-24 1550
传递性建模为：如果有a·b和b·c，是否可以推算出a·c。用(x1,y1)表示a,(x2,y2)表示b，(x3,y3)表示c。打分函数：因此，对于该function，f （h,t）= hT·r·(t),t指的是t复数域上的共轭复数。前提：采用Bilinear Model,该模型的打分函数为f （h,t）= hT·r·t。反对称性：通过对 hT·r·(~t)的高打分+ (~h)T·r·t低打分训练。基础假设：采用复数u = a + bi的方式表示h和t。传递性：不满足，可以通过点积的性质进行简单证明，
知识图谱-KGE-语义匹配-双线性模型-2019：CrossE
u013250861的博客
12-07 615
【paper】 Interaction Embeddings for Prediction and Explanation in Knowledge Graphs 【简介】 本文是浙大和苏黎世大学的学者联合发表于 WSDM 2019 上的工作，文章提出了 CrossE，模型的思想也没有很高端，就是引入了一个矩阵C，用于计算实体和关系 crossover interaction，然后挖掘出可靠路径用于为链接预测提供解释。本文的重点有两个，一个是建模了 crossover interaction，另一个是对链接
2021-11-06深度学习
m0_62870606的博客
11-06 506
基于军事知识图谱的作战预案语义匹配方法研究 人工智能技术与咨询前天 本文来自《指挥与控制学报》，作者梁汝鹏等 关注微信公众号：人工智能技术与咨询。了解更多咨询！ 摘 要提出了一种智能化的预案语义匹配方法,基于军事知识图谱,建立知识图谱与作战预案特征映射,构建预案语义特征标注,实现作战预案隐藏知识的显式定义;设计了作战预案语义特征抽取与相似性计算算法,解决基于索引或关键字等语用层次特征匹配效率和准确度较低的问题,实现基于语义特征的作战预案智能语义匹配,满足预案快速、精准化匹配需求. 关键词知...
知识图谱-KGE-语义匹配-双线性模型-2015：DistMult【把双线性模型RESCAL的关系矩阵限制为了对角矩阵】【缺点：由于只用到对角线上的元素，所以只能处理对称关系】
u013250861的博客
11-24 1452
DistMult对应的论文为，发表于ICLR 2015。我们使用神经网络嵌入学习的方法来学习知识图谱中实体和关系的表示。我们展示了最常见的模型，包括NTN和TransE，可以被归纳在一个统一的学习框架下，其中，实体是从神经网络学习出的低维向量，关系是双线性和/或线性映射函数。在此框架下，我们在链接预测任务上比较了各种嵌入模型。我们证明了一个简单的双线性公式可以在链接预测任务上实现SOTA效果（在Freebase上，Top-10达到73.2%的精确率 vs. TransE的精确率为54.7%）。
【NLP-语义匹配】详解深度语义匹配模型DSSM
hacker_long的专栏
12-29 3234
所谓语义匹配，就是在语义上衡量文本的相似度，在产业界有很多的应用需求。例如，在FAQ场景中需要计算用户输入与标问之间的相似度来寻找合适的答案。本文介绍一种经典的语义匹配技术，DSSM，主...
论文浅尝 | 利用类比推理优化知识图谱向量表示
开放知识图谱
06-06 1260
链接：https://arxiv.org/pdf/1705.02426.pdf 本文的主要创新点就是把类比推理应用到 KG embedding 中，通过对模型的 scor...
知识图谱-KGE-语义匹配-双线性模型-2011：RESCAL【双线性模型的开山之作】【容易过拟合，效果不太好】【把每个关系对应的邻接矩阵进行了矩阵的分解】【双线性模型：打分函数用到了双线性函数】
u013250861的博客
12-07 981
【paper】 A Three-Way Model for Collective Learning on Multi-Relational Data【简介】 这篇文章应该算是双线性模型的开山之作。是德国的一个团队发表在 ICML 2011 上的工作，比较老了，主要思想是三维张量分解。定义了一个 tensor，m 是关系数，n 是实体数，每个关系对应于 tensor 中的一个 slice，即一个矩阵，每个矩阵相当于表示图的邻接矩阵。位置元素为 1 代表两个实体之间存在这种关系，为 0 表示不存在。对 tens
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值