知识图谱 调研学习

0 前言

  本文主要为在调研学习知识图谱过程中所整理的材料，学习材料在最后给出了链接。

1 什么是知识图谱？

1.1 知识图谱的概念和分类

1.1.1 知识图谱的概念

  （知识图谱的来源、优势和直观理解。） 知识图谱（Knowledge Graph）最初是由Google在2012年提出的，主要是为了将传统的keyword-based搜索模型向基于语义的搜索模型进行升级。知识图谱可以用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。知识图谱最大优势是对数据的描述能力非常强大，各种机器学习算法虽然在预测能力上很不错，但是在描述能力是非常弱，知识图谱恰好可以填补这部分空缺。知识图谱是结构化的语义知识库，它的主要目标是用来描述真实世界中存在的各种实体的概念，以及他们之间的强关系，通过将数据粒度从document级别降到data级别，聚合大量知识，从而实现知识的快速响应和推理。用关系去描述两个实体之间的关联，例如服务器和GPU的关系；用“属性—值”对来描述实体的内在特性，例如实体GPU的型号、显存和计算能力等等。当前知识图谱中包含的主要几种节点有：实体、概念和属性。实体，指的是具有可区别性且独立存在的某种事物，比如某一个人、某一座城市或者某一块GPU等等，实体是知识图谱中最基本的元素，不同的实体之间存在不同的关系；概念，具有同种特性的实体构成的集合，比如国家、民族、水果等等；属性，用于区分概念的特征，不同的概念具有不同的属性，不同的属性值类型对应于不同类型的属性的边。如果属性什对应的是概念或者实体，则属性描述这两个实体之间的关系，称为对象属性 （比如CPU就是电脑的一个对象属性）。如果属性值是具体的数值，则称为数据属性。（比如GPU的型号、显存等称为数据属性。）

图中所示是一个简单的知识图谱的示例，如果两个节点之间存在关系，它们 就会被一条无向连连接在一起，这个节点，称为实体（Entity），它们之间的这条边，称为关系（relationship）。“实体-关系-实体”构成的三元组，是知识图谱的基本单位，这也是知识图谱的核心。

   （知识图谱的学术化表述。） 知识图谱以结构化的形式描述客观世界中的概念、实体及其之间的关系，以更接近人类认知世界的形式表达互联网信息，它可以提供一种更好地组织、管理和理解互联网海量信息的能力。知识图谱给互联网语义搜索带来了活力，同时也在智能问答中显示出强大的威力，已经成为互联网知识驱动的智能应用的基础设施。
  （知识图谱的功能、重要性与应用。） 知识图谱可以为大数据添加语义标注和链接（知识），使数据产生智慧，完成从数据到信息，到知识，最终到智能应用的转变过程，从而实现对大数据的洞察、提供用户关心问题的答案、为决策提供支持、改进用户体验等目标。知识图谱在以下应用中已经凸显出越来越重要的应用价值：知识融合、语义搜索和推荐、问答和对话系统、大数据分析与决策。知识融合是通过知识图谱对数据资源进行语义标注和链接，建立以知识为中心的资源语义集成服务；语义搜索和推荐是指将用户搜索输入的关键词，映射为知识图谱中客观世界的概念和实体，搜索结果直接显示出满足用户需求的结构化信息内容，而不是互联网网页；问答和对话系统，将知识图谱看成一个大规模的知识库，通过理解用户的问题转化为对知识图谱的查询，直接得到用户关心问题的答案；大数据分析与决策，知识图谱通过语义链接可以帮助理解大数据，获得对大数据的洞察，提供决策支持。

1.1.2 知识图谱的分类

  知识图谱的分类方式有很多，可以通过知识各类、构建方法等划分。
  从领域上说，知识图谱通常分为通用知识图谱和特定领域知识图谱。通用知识图谱可以形象地看成一个面向通用领域的“结构化的百科知识库”，其中包含了大量现实世界的学识性知识，覆盖面积极广。特定领域知识图谱，又叫行业知识图谱或垂直知识图谱，通常面向某一特定领域，可以看成是一个“基于语义技术的行业知识库”。

1.2 知识图谱的发展历程

  知识工程发展四十多年以来，总结知识工程的演进过程和技术进展，可以将知识工程分成五个标志性的阶段，前知识工程时期（1950-1970时期，图灵测试-知识工程诞生前期）、专家系统时期（1970-1990时期，专家系统-知识工程蓬勃发展时间）、万维网1.0时期（1990-2000年时期）、群体智能时期（2000-2006年时期）以及知识图谱时期（2006年至今）。目前知识图谱的发展和应用状况，除了通用的大规模知识图谱，各行业也在建立行业和领域的知识图谱，当前知识图谱的应用包括语义搜索、问答系统与聊天、大数据语义分析以及智能知识服务等等，在智能客服、商业智能等真实场景体现出广泛的应用价值，而更多知识图谱的创新应用还有待开发。
  知识工程：将知识集成到计算机系统从而完成只有特定领域专家才能完成的复杂任务。在大数据时代，知识工程是从大数据中自动或半自动获取知识，建立基于知识的系统，以提供互联网智能知识服务。

2 知识图谱的框架、技术体系

  知识图谱中的四个关键问题是知识表示与建模、知识获取、知识集成（融合） 和 知识服务（知识存储、查询和应用）。知识表示是根据领域需求和应用场景，构建领域知识本体，包括领域实体类别体系、实体属性、领域语义关系和语义关系之间的关系，解决这一问题的关键技术是Ontology Engineering（实体工程）。（知识表示要解决的问题是建模领域知识结构） 知识获取是根据领域本体知识和文本、垂直站点、百科等海量数据，提取领域知识，包括实体集合、实体关系和属性，解决这一问题的主要技术是信息抽取和文本挖掘。（知识获取要解决的问题是从海量数据中获取领域内的事实知识） 知识集成（融合） 是根据抽取出来的知识、现有知识库和知识本体，集成出知识的置信度和统一的知识库，解决这一问题的关键技术是Ontology Matching和Enity Linking。（知识集成要解决的问题是估计知识的可信度，将碎片知识组装成知识网络） 知识服务是根据输入的大规模知识库知识，提供知识库的存储、查询与推理服务，解决这一问题主要使用的技术是知识表示、知识查询语言、存储和检索引擎、推理引擎。（提供高性能知识服务）

上图是我在找的一个知识图谱构建的流程图，按知识图谱的四个技术进行的划分理解。

3 知识图谱的应用整理

  只要有关系存在，则有知识图谱的用武之地。
  知识图谱工程本身还是业务为重心，以数据为中心。不能低估业务和数据的重要性。
  知识图谱适合解决的问题：（1）从存储的角度：不断总结迭代的知识、规则（比如可量化的规章制度、或者工作流）、元数据（描述数据的数据。例如，数据库表，水果，记为table_fruit，这个表的名称table_fruit和描述“水果”都是元数据，英文metadata）。要注意的是，上述都是有版本管理，可不断迭代更新的；（2）从分析的角度：关系复杂的多维数据探索；（3）数据类型：类型多样的数据，融合结构化与非结构化的数据；
  知识图谱特别适合作为所有异构数据的中心联结点，它可以任意联结、索引各种结构的数据，可以通过版本记录所有数据的变化状态。
  作为人工智能时代最重要的知识表示方式之一，知识图谱能够打破不同场景下的数据隔离，为搜索、推荐、问答、解释与决策等应用提供基础支撑。
在设计图谱之前需要从业务原则与效率原则出发问自己几个问题：（1）需要哪些实体、关系、属性？（2）哪些属性可以作为实体，哪些实体可以作为属性？（3）哪些信息要放在图谱中？哪些信息不要放在图谱中？（4）图谱背后的业务逻辑是怎样的？
  当我们不能很好的理解一项技术时，常常看看别人是怎么用的。从应用的角度来看，知识图谱是一种能够给被用户搜索得更精准，回答更精准，分析更智能的技术。

学习材料

• 人工智能之知识图谱（2019年第二期）
• 知识图谱基础（一）-什么是知识图谱
• 一文揭秘！自底向上构建知识图谱全过程
• 知识图谱课件
• 从具体案例了解知识图谱构建流程
• 最详细的知识图谱的技术与应用
• 知识图谱的应用
• [Github]知识图谱的应用示例
• 知识图谱火了，但有嘛用？非它不可？
• 基于知识图谱的产品设计