干货！任务型对话中语言理解的鲁棒性测试 |清华刘劼西

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

本期AI TIME PhD直播间，我们邀请到了清华大学计算机科学与技术系的硕士生——刘劼西，带来分享——《任务型对话中语言理解的鲁棒性测试》

嘉宾介绍

刘劼西：

清华大学计算机科学与技术系硕士生，导师为黄民烈副教授。研究方向为任务导向对话的鲁棒性测试，曾以第一作者身份在ACL、AAAI会议发表论文。

背景

01

什么是任务导向性对话？

任务导向性对话不同于开放性对话，它往往是在一些垂直场景下，为了完成任务、满足用户需求的对话过程（譬如，在小蜜、siri等语音智能助手中订票、查酒店）。

任务导向性对话的框架

上图是一个任务导向性对话的经典框架。用户讲过一句话之后，自然语言理解模块（NLU）会将这句话转换为机器理解的语义标签，然后将标签输送给对话管理模块（DM）。DM会通过一些策略生成智能助手提供的语义标签，而后将自然语言生成模块（NLG）生成的自然语言返还给用户。

这次，我们对第一个模块——自然语言理解（NLU），进行鲁棒性测试。

02

为什么要对自然语言理解模块做鲁棒性测试？

首先，由于近些年预训练语言模型的热潮，大家会更多地关注性能方面。然而任务导向性对话在实际生活中有很多应用场景，也需要有较好的稳定性（即鲁棒性），然而鲁棒性，却是人们关注度相对较低的，所以我们需要测试现有NLU模型的鲁棒性，更全面地评价模型的能力。

其次，现有的数据集（datasets），相较于现实场景来说相对比较理想化，往往只能反映纸面上的性能，对鲁棒性缺乏较好的测试和训练能力。

如下图，数据集的收集是比较理想化的。它是收集数据的workers遵从说明文档里的一些说明，来制作的对话数据集，其用语更加规范，表达方式也会被文档里的例子限制住。因而其语言会较为理想化，