当知识图谱“遇见”深度学习

作者：肖仰华，复旦大学计算机科学技术学院，副教授，博士生导师，上海市互联网大数据工程技术中心副主任。主要研究方向为大数据管理与挖掘、知识库等。

大数据时代的到来，为人工智能的飞速发展带来前所未有的数据红利。在大数据的“喂养”下，人工智能技术获得了前所未有的长足进步。其进展突出体现在以知识图谱为代表的知识工程以及深度学习为代表的机器学习等相关领域。随着深度学习对于大数据的红利消耗殆尽，深度学习模型效果的天花板日益迫近。另一方面大量知识图谱不断涌现，这些蕴含人类大量先验知识的宝库却尚未被深度学习有效利用。融合知识图谱与深度学习，已然成为进一步提升深度学习模型效果的重要思路之一。以知识图谱为代表的符号主义、以深度学习为代表的联结主义，日益脱离原先各自独立发展的轨道，走上协同并进的新道路。

知识图谱与深度学习融合的历史背景

大数据为机器学习，特别是深度学习带来前所未有的数据红利。得益于大规模标注数据，深度神经网络能够习得有效的层次化特征表示，从而在图像识别等领域取得优异效果。但是随着数据红利消失殆尽，深度学习也日益体现出其局限性，尤其体现在依赖大规模标注数据和难以有效利用先验知识等方面。这些局限性阻碍了深度学习的进一步发展。另一方面在深度学习的大量实践中，人们越来越多地发现深度学习模型的结果往往与人的先验知识或者专家知识相冲突。如何让深度学习摆脱对于大规模样本的依赖？如何让深度学习模型有效利用大量存在的先验知识？如何让深度学习模型的结果与先验知识一致已成为了当前深度学习领域的重要问题。

当前，人类社会业已积累大量知识。特别是，近几年在知识图谱技术的推动下，对于机器友好的各类在线知识图谱大量涌现。知识图谱本质上是一种语义网络，表达了各类实体、概念及其之间的语义关系。相对于传统知识表示形式（诸如本体、传统语义网络），知识图谱具有实体/概念覆盖率高、语义关系多样、结构友好(通常表示为RDF格式)以及质量较高等优势，从而使得知识图谱日益成为大数据时代和人工智能时代最为主要的知识表示方式。能否利用蕴含于知识图谱中的知识指导深度神经网络模型的学习从而提升模型的性能，成为了深度学习模型研究的重要问题之一。

现阶段将深度学习技术应用于知识图谱的方法较为直接。大量的深度学习模型可以有效完成端到端的实体识别、关系抽取和关系补全等任务，进而可以用来构建或丰富知识图谱。本文主要探讨知识图谱在深度学习模型中的应用。从当前的文献来看，主要有两种方式。一是将知识图谱中的语义信息输入到深度学习模型中；将离散化知识图谱表达为连续化的向量，从而使得知识图谱的先验知识能够成为深度学习的输入。二是利用知识作为优化目标的约束，指导深度学习模型的学习；通常是将知识图谱中知识表达为优化目标的后验正则项。前者的研究工作已有不少文献，并成为当前研究热点。知识图谱向量表示作为重要的特征在问答以及推荐等实际任务中得到有效应用。后者的研究才刚刚起步，本文将重点介绍以一阶谓词逻辑作为约束的深度学习模型。

知识图谱作为深度学习的输入

知识图谱是人工智能符号主义近期进展的典型代表。知识图谱中的实体、概念以及关系均采用了离散的、显式的符号化表示。而这些离散的符号化表示难以直接应用于基于连续数值表示的神经网络。为了让神经网络有效利用知识图谱中的符号化知识，研究人员提出了大量的知识图谱的表示学习方法。知识图谱的表示学习旨在习得知识图谱的组成元素(节点与边)的实值向量化表示。这些连续的向量化表示可以作为神经网络的输入，从而使得神经网络模型能够充分利用知识图谱中大量存在的先验知识。这一趋势催生了对于知识图谱的表示学习的大量研究。本章首先简要回顾知识图谱的表示学习，再进一步介绍这些向量表示如何应用到基于深度学习模型的各类实际任务中，特别是问答与推荐等