知识表示学习1多元关系数据翻译嵌入2知识表示学习关系路径建模(公号回复“知识表示学习”下载彩标PDF典藏版资料)

知识表示学习1多元关系数据翻译嵌入2知识表示学习关系路径建模(公号回复“知识表示学习”下载彩标PDF典藏版资料)

原创： 秦陇纪 数据简化DataSimp 今天

数据简化DataSimp导读：医学AI读书会两篇论文：[1]Bordes A, Usunier N, Garcia-Duran A, et al. Translating Embeddings for ModelingMulti-relational Data[C]// International Conference on Neural InformationProcessing Systems. Curran Associates Inc. 2013:2787-2795. [2] Lin Y, Liu Z,Luan H, et al. Modeling Relation Paths for Representation Learning of KnowledgeBases[J]. Computer Science, 2015.汉译文。荷兰阿姆斯特丹自由大学黄智生教授在线医学人工智能读书会第8期《知识表示学习报告(文献阅读报告)》将于2018年10月31日(星期三)北京时间晚8点到9点，在医学人工智能读书会钉钉群直播，届时由武汉科技大学计算机学院刘茂福团队(武汉)刘茂福教授团队做报告。内容简介：知识表示学习自2013年以来一直是各大顶会热点，该类模型将知识图谱中实体和关系嵌入为低维空间向量的同时，保持其空间结构不变，从而有效解决数据稀疏度和计算效率问题。本次报告以TransE和PTransE为切入点介绍知识表示学习相关模型。

自然语言处理(Natural Language Processing，NLP)是计算机科学、人工智能、语言学领域的学科分支、交叉学科，关注计算机和人类(自然)语言之间的相互，研究实现人与计算机之间使用自然语言进行有效通信的各种理论和方法的领域。“数据简化DataSimp”上期：自然语言处理发展史上的十大里程碑、NLP知识结构，以及NLP国内研究方向、机构、导师，从两个NLP传统研究问题出发，总结以下十大里程碑：复杂特征集、词汇主义、统计语言模型、神经语言模型、多任务学习、词嵌入、RNN/CNN用于NLP的神经网络、序列到序列模型、注意力机制网络、预训练语言模型。祝大家学习愉快~ 要推进人类文明，不可止步于敲门呐喊；设计空想太多，无法实现就虚度一生；工程能力至关重要，秦陇纪与君共勉之。

知识表示学习1多元关系数据翻译嵌入2知识表示学习关系路径建模(10237字)

目录

A知识表示学习1多元关系数据翻译嵌入建模(7320字)

1 简介

2 transE模型

3 相关工作

4 实验(1数据集2实验设置3链接预测4用几个例子学习预测新关系)

5 总结和展望

B知识表示学习2知识表示学习关系路径建模(1135字)

参考文献(1465字)Appx(845字).数据简化DataSimp社区简介

---

A知识表示学习1多元关系数据翻译嵌入建模(7320字)

知识表示学习1多元关系数据翻译嵌入建模

文|Bordes A, Usunier N, Garcia-Duran A等，译|秦陇纪，数据简化DataSimp20181029Mon

论文标题：Translating Embeddings for Modeling Multi-relational Data

标题翻译：多元关系数据翻译嵌入建模

摘要：考虑多元关系数据的实体和关系在低维向量空间的嵌入问题。我们的目标是提出一个权威模型，该模型比较容易训练，包含一组简化了的参数，并且能够扩展到非常大的数据库。因此，我们提出了TransE，一个将关系作为低维空间实体嵌入的翻译的方法。尽管它很简单，但是这种假设被证明是强大的，因为大量的实验表明在两个知识库连接预测方面，TransE明显优于目前最新的方法。除此之外，它能够成功地训练一个有1M的实体，25k的关系和超过17M的训练样例的大规模数据集。

会议类型：Poster, Partof: Advances in Neural Information Processing Systems 26 (NIPS 2013)

原文网址：http://papers.nips.cc/paper/5071-translating-embeddings-for-modeling-multi-relational-data

Authors: Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, Oksana Yakhnenko

Abstract: We consider the problem of embedding entities andrelationships of multi-relational data in low-dimensional vector spaces. Ourobjective is to propose a canonical model which is easy to train, contains areduced number of parameters and can scale up to very large databases. Hence,we propose, TransE, a method which models relationships by interpreting them astranslations operating on the low-dimensional embeddings of the entities.Despite its simplicity, this assumption proves to be powerful since extensiveexperiments show that TransE significantly outperforms state-of-the-art methodsin link prediction on two knowledge bases. Besides, it can be successfullytrained on a large scale data set with 1M entities, 25k relationships and morethan 17M training samples.

1 简介

多元关系数据适用于有向图，图的结点和边与元组(head,label,tail)对应(表示为(h,l,t))，每个元组意为在实体head和tail之间存在一个名为label的关系。多元关系数据模型在很多领域扮演着很重要的角色。例如社交网络，实体是成员，边是朋友/社会关系连接，又如推荐系统中的实体是用户和产品，关系为买，评级，检索或搜索一个商品，再或知识库，如Freebase，Google知识图谱或Gene Ontology，这些知识库中的每个实体代表世界中的一个抽象概念或者具体的实体，关系式谓词，代表他们两个之间的事实。我们的工作重点是对知识库的多元关系数据建模，提出一个高效地工具通过自动增加事实，而不需要额外的知识来完成它们。

多元关系数据建模一般而言，建模过程归结为抽取实体间局部或者总体的连接模式，通过这些模式概括观测的一个特定的实体和其它所有的实体之间的关系来预测。一个局部的单个关系的概念可能是一个纯粹的结构，比如在社交网络中，我的朋友的朋友是我的朋友，但也可以依赖于实体，例如，一些喜欢看Star Wars IV的人也喜欢Star Wars V，但是他们可能喜欢Titanic也可能不喜欢。相比之下，经过一些数据的描述性分析后可以形成单关系数据专门的但是简单地模型假设。关系数据的难点在于局部概念在同一时间可能涉及关系和实体的不同类型，以致对多关系数据建模时要求更一般的方法，这种方法能在考虑所有多样的关系同时选择合适模型。<