论文笔记 — COMET【自动常识知识库构建】

From Allen Institute for Artificial Intelligence and Microsoft Research.

Authors: Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, Yejin Choi

Title: COMET: Commonsense Transformers for Automatic Knowledge Graph Construction

In: ACL, 2019.

Introduction

本文是Allen实验室发表在ACL2019的一篇关于自动常识知识库构建的文章。作者提出了Commonsense Transformers（COMET）生成模型，主体框架是Transformer语言模型，在ATOMIC和ConceptNet知识库中选取种子知识训练集进行预训练，使得模型可以自动构建常识知识库。Allen实验室也提供了Demo和Code，Demo挺有意思的，输入一个event（有参与者），就可以返回一个常识知识图。

COMET与许多使用规范模板存储知识的传统知识库相反，常识知识库仅存储松散结构的开放式知识描述。实验结果表明，COMET能够产生新的人类评价为高质量的知识，高达77.5％（ATOMIC）和91.7％（ConceptNet）精度。使用常识生成模型COMET进行自动构建常识知识库，也许就会成为知识抽取构建知识库的合理替代方案。

Motivation

在阅读文本时，人类会做出常识性的推理，这些推理对理解叙事性故事（narrative，由具有逻辑、因果等关系的events构成）起支撑作用。想要让机器和人类一样具有这个能力，必须可以无限地获取相关常识，如果获得准确的常识更好。

针对问题：

1. 之前大部分自动知识库构建的工作针对的是百科知识，百科知识的特点是实体和关系之间很好建模，关系是比较明确的。但是常识知识不一样，实体间的关系是难以确定的，这就导致现有工作实效。
2. 华盛顿大学的OpenIE通过抽取开放文本中的实体和关系，构建知识库。对于常识知识来说，有一定比例是隐含知识，换言之就是未知的生成的知识。

解决方案：

借鉴Transformer上下文感知语言模型，在ATOMIC和ConceptNet知识库中选取种子知识训练集进行预训练，使得模型可以自动构建常识知识库，给定头实体和关系，生成尾实体。

Model

任务定义

训练样例 { s , r , o } \{s, r, o\}