《中国人工智能学会通讯》——1.6 知识抽取

1.6 知识抽取

智能问答的实现需要强大的知识资源作为基础，这就需要通过对大规模数据资源进行理解和萃取，转换成计算机可以处理的形式来表示和存储。事实上，长期以来，科学家们一直致力于建构规模更大、更完备的知识资源库。

早期的知识资源大多是通过专家知识构建的，可以把智能问答系统中所用到的知识粗略地分为语言知识和世界知识。语言知识为对自然语言中词、短语等语义单元知识的组织，如词义信息、上下位关系等，该类资源最典型的代表包括英文词汇知识库 WordNet 7 、FrameNet 8 、中文词汇知识库 HowNet 9 等。而世界知识是对现实世界中实体和事实的组织和表示，最典型的代表是早期的 Cyc 10 ，该项目是在人工智能鼻祖Douglas Lenat 带领下实现的当时全世界最大的完全人工建立的常识知识库。虽然目前它已经涉及五十万个概念、三万个关系、数百万条事实，但远远不能满足开放领域智能问答系统对知识资源的需求。

实际上，大量的知识存在于非结构化的文本数据中。为了突破知识资源的瓶颈，学术界希望通过从文本数据中利用信息抽取技术自动获取大规模知识来建立知识资源库。该过程中需要涉及实体识别、实体分类、实体消岐、关系抽取、事件识别和抽取等关键技术。得益于Web2.0 群体智慧的结果，网络上包含了大量语义明确的高质量数据资源，其中 Wikipedia 最具代表性。大量的工作直接或间接地利用Wikipedia资源进行知识抽取。德国的马克斯普朗克研究院（Max Planck Institute）的YAGO 通过融合 Wikipedia 和 WordNet 构建了一个大规模的知识库类别体系，并定义了几十种关系描述实体之间的关系。其它有代表性的工作还包括：华盛顿大学图灵实验室的 TextRunner [6] 、ReVerb [4] 、R2A2 [7] 、WOE [8] 、OLLI [9] ，以及德国柏林工业大学 DSIM 组的Wanderlust [10] 、KrakeN [11] 等。CMU 的 NELL [12] 系统通过不间断地从互联网上抽取和挖掘知识，构建可以支持多种智能信息处理应用需求的海量规模网络知识库。

目前，机器自动方式构建的知识资源还难以达到实用的要求（主要是准确率不够），工业界从另一个角度进行全新的探索——以群体智慧的方式建设知
识资源，并且取得了丰硕成果。Wikipedia 已经涵盖了 287 种语言的知识条目 3 000 多万条。以 Wikipedia为基础，各单位构建了多个可利用的知识库，其中DBpedia、早期的 Freebase 都是基于 Wikipedia 自动生成的本体。这些知识资源能够搜集不同领域的知识，并且它们的内容随着网络资源的增长而不断丰富，因此引起了搜索引擎巨头的极大关注。Google 11 于 2010年收购了 Freebase 后，一直致力于构建相互关联的实体及其属性的巨大知识图谱 Knowledge Graph，并据此建立 Google 语义搜索。在国内，众多互联网企业也不甘示弱，分别推出了雄心勃勃的计划，比如百度的知心和搜狗的知立方。