知识图谱综述

知识图谱(Knowledge Graph)

于2012年被Google提出,初衷是为提高搜索引擎的能力,增强用户的搜索质量以及搜索体验。
定义:
知识图谱是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。现在的知识图谱已被用来泛指各种大规模的知识库。

开源项目：conceptNet5

技术

知识抽取

从半结构化与非结构化数据进行实体\关系\属性的抽取

实体抽取(命名实体识别NER)

基础/关键。评价指标：完整性、准确率、召回率等
1.基于规则与词典的方法
2.基于统计机器学习的方法
尝试将机器学习中的监督学习算法用于命名实体的抽取问题上。
如：利用KNN算法与条件随机场模型,实现了对Twitter文本数据中实体的识别。
3.面向开放域的抽取方式
提出了一种通过迭代方式扩展实体语料库的解决方案,其基本思想是通过少量的实体实例建立特征模型,再通过该模型应用于新的数据集得到新的命名实体。提出了一种基于无监督学习的开放域聚类算法,其基本思想是基于已知实体的语义特征去搜索日志中识别出命名的实体,然后进行聚类。

关系抽取

1.开放式实体关系抽取，WOE、OIE
2.基于联合推理的实体关系抽取，马尔可夫逻辑网MLN
它是一种将马尔可夫网络与一阶逻辑相结合的统计关系学习框架,同时也是在OIE中融入推理的一种重要实体关系抽取模型。
3.属性抽取

知识表示-分布式表示

1.应用场景，语义相似度计算、链接预测
2.代表模型，距离模型、单层神经网络模型、双线性模型、神经张量模型、距离分解模型RESACL、翻译模型TransE
3.复杂关系模型，TransH、TransR、TransD、TransG、KG2E
4.多源信息融合，DKRL

知识融合

1.实体对齐，成对实体对齐、集体实体对齐
2.知识加工，本体构建，质量评估
3.知识更新，模型层更新，数据层更新

知识推理

1.基于逻辑推理，一阶谓词推理、描述逻辑
2.智能推荐

大规模知识库典型代表

开放链接知识库(LOD)

Freebase知识库
Wikidata
DBpedia
YAGO

行业知识库

IMDB(internet movie database)
MusicBrainz 是一个结构化的音乐维基百科,致力于收藏所有的音乐元数据,并向大众用户开放。
ConceptNet 是一个语义知识网络,主要由一系列的代表概念的结点构成,这些概念将主要采用自然语言单词或短语的表达形式,通过相互连接建立语义联系。ConceptNet包含了大量计算机可了解的世界的信息,这些信息将有助于计算机更好地实现搜索、问答以及理解人类的意图。 ConceptNet 5 是基ConceptNet的一个开源项目,主要通过GPLv3协议进行开源。