干货！基于语义生成概率的无监督常识问答方法——清华CoAI小组牛艺霖

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

在多项选择常识问答任务中，许多现有的无监督方法使用预训练语言模型计算选项的句子生成概率，并以此作为选项得分。然而，这类方法易受到干扰因素的影响，如同义词替换、句式变换等操作都可能大幅改变句子生成概率，导致预测结果发生变化。在本工作中，我们提出了一种基于语义生成概率的无监督方法，减轻了干扰因素的影响，显著提升了答案预测的准确率和鲁棒性。

本期AI TIME PhD 直播间，我们有幸请到清华大学CoAI小组的计算机科学与技术系博士生牛艺霖带来报告——《基于语义生成概率的无监督常识问答方法》

清华大学计算机科学与技术系博士生，师从黄民烈副教授。研究方向为机器推理和问答系统，曾以第一作者身份在ACL发表多篇论文。

01

 背  景 

（1） 问题描述

在多项选择常识问答任务中，模型需要基于一定的常识知识（比如，太阳从东边升起），从多个选项中选出符合常识逻辑的答案。例如下面的例子：

问：这个男人脚趾头受伤了，原因可能是什么？

选项1：他的袜子破了一个洞。

选项2：锤子砸到了他的脚。

根据常识判断，选项2更有可能是正确的。

目前，在常识问答任务中，基于监督学习的方法已经取得了很好的效果，甚至超过了人类的表现。然而，在实际应用中，带标注的数据集往往不容易获得，或者标注成本较高，这就体现了无监督方法的重要性。

（2） 相关工作

为了解决缺乏数据标注的问题，现有的主流方法可以分为两类：

第