TransOMCS：从语言图提取常识知识

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

从符号智能到感知智能，再到今天的认知智能，人工智能的发展可谓日新月异。2020年大火的GPT-3，其参数量达到了千亿级别，规模已经接近人类神经元的数量。这说明，GPT-3的表示能力已经接近人类了，但它仍有一些认知局限——没有常识。常识知识的获取、理解与运用，一直是人工智能最核心的问题之一。长久以来，学术界和工业界都一直欠缺一个比较好的常识知识表达与获取方法。

在本次直播中，我们很荣幸地邀请到来自香港科技大学的张洪铭博士为大家分享他参与的关于常识获取的相关工作。本期分享介绍了如何从事态（事件和状态）的角度来理解常识知识以及如何从无标注文本里以低成本自动获得相关的知识，主要围绕以下几个方面进行展开：⑴现在预训练模型（BERT, RoBERTa等）在常识理解任务上的进展和局限性。⑵如何利用高阶语义倾向来表达理解常识知识。⑶在此基础上，如何自动从预料中构建一个基于事件的知识图谱ASER来有效表达常识知识。⑷如何利用ASER中所蕴含的常识知识来帮助下游任务（指代消解，事件预测，问答，对话等等）。

 

张洪铭：香港科技大学三年级博士生，导师宋阳秋教授，目前在宾夕法尼亚大学访问，导师Dan Roth教授。主要研究方向是常识与事件理解。曾获HKPF和MSRA Fellowship。主要工作发表在ACL，EMNLP，NAACL，WWW，IJCAI等会议上。

一、背景

毋庸置疑，常识在自然语言理解(NLU)中是极为重要的。以下图为例，人类可以很容易理解“踩进水坑”与“回家换鞋”这两个事件是如何关联起来的，因为我们知道踩进水坑会导致鞋湿，而湿的鞋会让人感到不舒服，自然就会想回家换掉。由此可见，常识与事件是息息相关的。

何为常识？一个较为流行的定义是“对于正常人来说，常识一般是指对周围事件的良好判断”。而在AI领域，通常将常识作为一个术语来指代“大多数人公认的百万级的基本事实和理解”。常识与事实（fact）一个很重要的区别是由于默认常识是大家所熟知的，为了交流的高效性，在社交中通常会被人们所忽略。比方说，“如果你忘掉了一个人的生日，他可能会很生气”，“鸟可以飞，但书不能”，