u013250861的博客

cuBLAS是CUDA专门用来解决线性代数运算的库，分为三个级别：Lev1向量乘向量、Lev2矩阵乘向量、Lev3矩阵乘矩阵。此外，cuBLAS库还包含一些功能和状态结构函数。学习网站为：参考资料：四、cuBLAS与cuDNN...

人工智能-自然语言处理(NLP)-应用场景：知识图谱

自然语言处理(NLP)-知识图谱：结构向量化（Structured Embeddings）

参考资料：知识图谱中的关系推理

图神经网络(GNN)-2013：TransE【知识图谱奠基】

第一种理解：知识图谱本质上是语义网络。本体论是语义网络中最重要的一个要素。第二种理解：知识图谱也叫做多关系图，由多种类型的节点和多种类型的边组成。课程以第二种理解为主。

典型知识图谱项目：FreeBase、WikiData、Schema.org、DBPedia、YAGO、WordNet、ConceptNet、BabelNet

Falcon-AO是一个自动的本体匹配系统,已经成为RDF(S)和OWL所表达的Web本体相匹配的一种实用和流行的选择。编程语言为Java。其结构如下图所示：此处主要介绍它的匹配算法库，其余部分可查看官方文档。匹配算法库包含V-Doc、I-sub、GMO、PBM四个算法。其中V-Doc即基于虚拟文档的语言学匹配，它是将实体及其周围的实体、名词、文本等信息作一个集合形成虚拟文档的形式。这样我们就可以用TD-IDF等算法进行操作。I-Sub是基于编辑距离的字符串匹配，这个前面我们有详细介绍。可以看出，I-

本体编辑器基于RDF(S)，OWL等语义网规范图形化界面提供了在线版本——WebProtégé适用于原型构建场景Protégé 的不足：基本只提供单人编辑，在线版本的并发功能支持也不完善；并发编辑时需要通过文件共享来实现；因为基于单机构建，因此对大数据量支持不够，会出现内存溢出；不支持时态、复杂事件、业务规则等的建模；完全依靠人工，难以实现与知识图谱构建（半）自动化过程的交互。二、建模预期成果...

一、OpenUE主要架构1、models 模块其存放了我们主要的三个模型，针对整句的关系识别模型，针对已知句中关系的命名实体识别模型，还有将前两者整合起来的推理验证模型。2、lit_models 模块其中的代码主要继承⾃pytorch_lightning.Trainer。其可以⾃动构建单卡，多卡，GPU,TPU等不同硬件下的模型训练。3、data 模块data中存放了针对不同数据集进⾏不同操作的代码。使⽤了transformers库中的tokenizer先 对数据进⾏分词处理再根据不同需要

DeepKE 是一个基于深度学习的开源中文知识图谱抽取框架，支持低资源、长篇章的知识抽取工具，支持命名实体识别、关系抽取和属性抽取功能。DeepKE为三个知识抽取功能（命名实体识别、关系抽取和属性抽取）设计了一个统一的框架可以在不同场景下实现不同功能。比如，可以在标准全监督、低资源少样本和文档级设定下进行关系抽取每一个应用场景由三个部分组成：Data部分包含Tokenizer、Preprocessor和Loader，Model部分包含Module、Encoder和Forwarder，Core部分.

Protégé软件是斯坦福大学医学院生物信息研究中心基于Java语言开发的本体编辑和知识获取软件，或者说是本体开发工具，也是基于知识的编辑器，属于开放源代码软件。这个软件主要用于语义网中本体的构建，是语义网中本体构建的核心开发工具，现在的最新版本为5.5.0版本。Protégé提供了本体概念类，关系，属性和实例的构建，并且屏蔽了具体的本体描述语言，用户只需在概念层次上进行领域本体模型的构建。参考资料：Protégé基本教程【Protégé5.5.0版本】...

资源描述框架（RDF）是用于描述网络资源的 W3C 标准，比如网页的标题、作者、修改日期、内容以及版权信息。什么是 RDF？RDF 指资源描述框架（Resource Description Framework）RDF 是一个用于描述 Web 上的资源的框架RDF 提供了针对数据的模型以及语法，这样独立的团体们就可以交换和使用它RDF 被设计为可被计算机阅读和理解RDF 被设计的目的不是为了向人们显示出来RDF 使用 XML 编写RDF 是 W3C 语义网络活动的组成部分RDF 是一个 W3

MuRP评分函数为 ，其中 表示在庞加莱圆盘中计算距离， 表示将庞加莱圆盘中的点映射到欧式空间， 表示对角矩阵， 表示将欧式空间中的点转移到庞加莱圆盘中， 是莫比乌斯加法，为庞加莱空间中两向量相加， 表示曲率。针对DisMult存在的问题，ComplEx把DisMult扩展到复数空间表示，并定义评分函数为 f_{r}(h,t) = Re(h^Tdiag(M_r)\bar{t}) ，其中 h, t 均用复数表示， \bar{t} 表示 t 的共轭复数，Re(\cdot) 表示取得复数的实部。

一方面，现有的数据集对已有知识进行随机划分，得到训练集和测试集，这样并不能保证测试的新知识确实可以通过训练时已有的知识得到。（2）测试的知识可以是正确的，错误的，也可以是不确定。可以看到，模型从已有知识（贝多芬，职业，钢琴家）和（贝多芬，乐器，钢琴）中归纳出可靠的规则：钢琴家的乐器是钢琴，再通过（Bob，职业，钢琴家）演绎出新知识（Bob，乐器，钢琴），对知识图谱缺失的边进行了补全。那么，在判断新知识的时候，可以直接使用对应的实体和关系向量，对三元组进行打分，分数的高低反应该条知识的正确概率。

面向知识图谱的推理主要围绕关系的推理展开，即基于图谱中已有的事实或关系推断出未知的事实或关系，一般着重考察实体、关系和 图谱结构三个方面的特征信息。具体来说，知识图谱推理主要能够辅助推理出新的事实、新的关系、新的公理以及新的规则等。一个丰富、完整的知识图谱的形成会经历很多阶段，从知识图谱的生命周期来看，不同的阶段都涉及不同的推理任务。比如：知识图谱推理的主要技术手段分为两大类：演绎推理的过程需要明确定义的先验信息，所以基于演绎的知识图谱推理多围绕本体展开。演绎推理主要包括基于描述逻辑、基于逻辑编程、基于查询

知识图谱-KGE-语义匹配-双线性模型-2019：QuatE

【paper】 Interaction Embeddings for Prediction and Explanation in Knowledge Graphs【简介】 本文是浙大和苏黎世大学的学者联合发表于 WSDM 2019 上的工作，文章提出了 CrossE，模型的思想也没有很高端，就是引入了一个矩阵C，用于计算实体和关系 crossover interaction，然后挖掘出可靠路径用于为链接预测提供解释。本文的重点有两个，一个是建模了 crossover interaction，另一个是对链接

【paper】 RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space【简介】 本文是北大和加拿大的研究团队发表在 ICLR 2019 上的文章，提出了 RotatE（Rotation Embedding），主要思想是将实体表示为复向量，关系视为从头实体指向尾实体的旋转（Rotation）。这个模型大概是看明白了的，感觉还是比较巧妙的。RotatE 的提出主要是为了建模三种关系:对称/非对称、反向关系、关系组合这里

【paper】 TuckER: Tensor Factorization for Knowledge Graph Completion【简介】 这篇文章是英国爱丁堡大学的研究者发表于 ICML 2019 上的文章，提出了 TuckER，是一个线性的张量分解模型，对表示三元组事实的二值张量做 Tucker 分解。本模型基于 1966 年 Tucker 提出的 Tucker decomposition，它将一个张量分解为一个 core tensor 和一组矩阵相乘的形式，可以被视为一种高阶 SVD 的形式，在

【paper】 SimplE Embedding for Link Prediction in Knowledge Graphs【简介】 本文是加拿大英属哥伦比亚大学的两位学者发表在 NIPS 2018 上的工作，文章提出了 SimplE（Simple Embedding）。这篇和前面一篇差不多，也是对 1927 年的 CP 进行改进（简化），传统CP为实体分配的两个向量是独立训练的，SimplE利用关系的逆在三元组打分函数中加上了一个对称项，使得每个实体的两个向量依赖学习，并且 SimplE 的复杂度随

将生成对抗的思想引入到 KGE，本文的具体做法是对每个 KGE 任务，使用两个模型，一个模型（双线性模型如 DistMult 或 ComplEx）用作生成器，生成高质量的负样本，另一个模型（TransE 或 TransD）做判别器，用正样本和生成器给出的负样本训练 embedding。普通的负采样方法，对正样本三元组的头实体或尾实体从实体集中随机采样替换，生成的负样本是很明显的错误样本，很容易通过实体的类型区分开来，比较“高级”的负样本是尽量“替换同类型实体”的负样本三元组。生成器和判别器都需要预训练。

【paper】 Canonical Tensor Decomposition for Knowledge Base Completion【简介】 这篇是 Facebook 法国巴黎 AI 研究中心发表在 ICML 2018 上的文章，是对传统的张量分解方法 CP（Canonical Tensor Decomposition）做的分析改进。对传统的几个双线性方法进行了详细的分析，探究了（1）最优参数与 loss 形式的影响，（2）正则化形式的影响，提出张量核 p 范数正则化方法，（3）并探究了反向关系推理的

【paper】 Analogical Inference for Multi-relational Embeddings【简介】 本文是卡耐基梅隆大学的中国学者发表在 ICML 2017 上的工作，提出了 ANALOGY 模型，用于建模实体和关系的推理属性。这个模型应当也算是双线性模型中比较经典的一个了，很多模型的 baseline 中都有它。核心思想就是利用矩阵的交换性约束建模平行四边形一样的类比推理属性。ANALOGY 将关系矩阵约束为正规矩阵，由于它是 "well-behaved" linear m

【paper】 Probabilistic Reasoning via Deep Learning: Neural Association Models【简介】 本文是中科大和科大讯飞联合发表在 IJCAI 2016 上的工作，本文提出了 NAM（Neural Association Model）用于概率推理，并具体化为 DNN（Deep Neural Network）和 RMNN（Relation Modulated Neural Network）两种形式。本文提出用神经网络建模两个 event 之间的

【paper】 Holographic Embeddings of Knowledge Graphs【简介】 本文是麻省理工的研究人员发表在 AAAI 2016 上的文章，提出了 HolE(Holographic Embedding)，是一个基于向量循环关联操作的组合向量空间模型。不同论文里对同一类方法的表述不同，这里说的组合表示就是指的双线性这一类模型。模型对于三元组打分函数的定义如下：其中，∘∘ 代表组合操作，即对头尾实体根据它们的 embedding 创建一个组合向量。常用的损失函数有两种：一种是

传递性建模为：如果有a·b和b·c，是否可以推算出a·c。用(x1,y1)表示a,(x2,y2)表示b，(x3,y3)表示c。打分函数：因此，对于该function，f （h,t）= hT·r·(t),t指的是t复数域上的共轭复数。前提：采用Bilinear Model,该模型的打分函数为f （h,t）= hT·r·t。反对称性：通过对 hT·r·(~t)的高打分+ (~h)T·r·t低打分训练。基础假设：采用复数u = a + bi的方式表示h和t。传递性：不满足，可以通过点积的性质进行简单证明，

DistMult对应的论文为，发表于ICLR 2015。我们使用神经网络嵌入学习的方法来学习知识图谱中实体和关系的表示。我们展示了最常见的模型，包括NTN和TransE，可以被归纳在一个统一的学习框架下，其中，实体是从神经网络学习出的低维向量，关系是双线性和/或线性映射函数。在此框架下，我们在链接预测任务上比较了各种嵌入模型。我们证明了一个简单的双线性公式可以在链接预测任务上实现SOTA效果（在Freebase上，Top-10达到73.2%的精确率 vs. TransE的精确率为54.7%）。

【paper】 A Semantic Matching Energy Function for Learning with Multi-relational Data【简介】 这篇文章是 Antoine Bordes 发表在 2014 年的 Machine Learning 上的工作，提出的模型和翻译模型的 UM（Unstructured Model）一毛一样，甚至使用的变量写法都是一样的，只是 UM 画了示意图、SME 没有，唯一和 UM 不同的是 SME 提供了实体和关系交互时使用的 g 函数的两种形式

【paper】 Knowledge Vault: A Web-Scale Approach to Probabilistic Knowledge Fusion【简介】 本文是谷歌的研究者发表在 KDD 2014 上的工作，提出了一套方法用于自动挖掘知识，并构建成大规模知识库 Knowledge Vault（KV）；KV 的构建包括知识提取器、基于图的先验及两者的融合。本来打开这篇文章是为了看 MLP 模型，但 MLP 只是其中的一个组合部分。本文的主要贡献如下：KV 包括三部分组成成分：本文的框架遵循局部封

【paper】 Effective Blending of Two and Three-way Interactions for Modeling Multi-relational Data【简介】 本文是法国 Antoine Bordes 团队发表在 ECML-PKDD 2014 上的工作，提出了 TATEC（Two and Three-way Embeddings Combination）主要思想是混合二元和三元模型，分别训练然后进行联合微调。文章提出，之前的模型，要么太复杂导致过拟合，要么太简单导致

【paper】 Reasoning With Neural Tensor Networks for Knowledge Base Completion【简介】 本文是斯坦福大学陈丹琦所在团队 2013 年的工作，好像是发表在一个期刊上的。文章提出了用于知识库补全的神经网络框架 NTN（Neural Tensor Network），网络结构/打分函数中同时包含双线性函数和线性函数，并用词向量的平均作为实体的表示。NTN 的模型结构图如下：首先得到词向量空间中词的表示，然后用词的组合作为实体的表示，输入神经张量

【paper】 A latent factor model for highly multi-relational data【简介】 这篇文章是法国的研究团队发表在 NIPS 2012 上的文章，还挂了 Antoine Bordes 的名字。文章提出了 LFM（Latent Factor Model），主要贡献有两点：一是定义了 unigram、bigram、trigram 三种方式组合的三元组打分函数；二是将关系矩阵分解为低阶矩阵的组合，这样可以实现参数共享。其实这种比较老的论文的表达方式、行文结构跟现在

【paper】 A Three-Way Model for Collective Learning on Multi-Relational Data【简介】 这篇文章应该算是双线性模型的开山之作。是德国的一个团队发表在 ICML 2011 上的工作，比较老了，主要思想是三维张量分解。定义了一个 tensor，m 是关系数，n 是实体数，每个关系对应于 tensor 中的一个 slice，即一个矩阵，每个矩阵相当于表示图的邻接矩阵。位置元素为 1 代表两个实体之间存在这种关系，为 0 表示不存在。对 tens

包括TransH、TransR、TransD、TranSparse、TransM、MianfoldE、TransF、TransA、KG2E、TransG、UM、SE模型等；

LibKGE的主要目的是为了助力知识图谱表示模型复现研究并提供训练方法。LibKGE提供整洁的训练实现，超参优化和评估策略。并且所有的现在的启发式实现都是基于本地配置文件，符合了软件的开闭原则，不同的参数，模型选择，只需要修改配置文件即可。

目前(2020.03)知识图谱嵌入研究方法众多，本文将对其中的主流方法进行简要介绍，如翻译、双线性、神经网络、双曲几何、旋转等。知识图谱嵌入(Knowledge Graph Embedding, KGE)学习知识库中的实体和关系的Embedding表示，是语义检索、知识问答、推荐等众多应⽤的基础研究。在具体了解KGE之前，我们先来看知识图谱是什么，为什么又要做知识图谱嵌入呢。

这个库的开源已经是去年(2020)的事情了，突然感觉时间好快~，当时并没有在意，最近关注到这个库是因为自己在训练知识图谱 Embedding 的时候做的一些调研，考虑到后续大规模知识图谱的训练，需要更快的开源库，于是DGL-KE 重新回到我的视野！结论就是速度是很快的啊！！！我之前用的清华开源库 OpenKE，所以我将两者速度做了一个对比，下表是 TransE 的对比结果，训练数据的规模是10w+的数据。哦！好像就快了四倍，还好吧~

为了解决这个问题，知识图谱表示学习被引入，将实体和关系转化为连续的向量空间，从而简化操作，同时保留知识图谱的原有的结构。使用我们的工具包复现出的模型与公开论文中公布的历史最高结果相比是基本一致的，相关的参数和训练代码也作为使用案例在我们的工具包中。孙茂松：清华大学计算机系教授，https://nlp.csai.tsinghua.edu.cn/staff/sms/谢若冰：清华大学计算机系硕士生（已毕业），http://nlp.csai.tsinghua.edu.cn/~xrb/

知识图谱定义为 �=(�,�,�)G=(E,R,P) ，分别表示实体、关系和三元组集合。