黄萱菁：自然语言处理中的可理解分析

与深度学习所面临的困难相似，目前，大规模应用的神经网络模型同样让自然语言处理领域的研究结果难以解释。模型的性能和可解释性仿佛是天生的敌人，统计结果表明，其性能愈佳，结构就越发复杂，越发难以理解。

在诸如推荐系统，游戏等领域的模型应用，因为风险较小，是否可解释对其影响甚微，但在风险更高的领域，如征信体系中的用户画像、舆情监督、金融数据分析等，结果不明确的模型往往会带来巨大的潜在损失，这极大地削弱了自然语言处理研究的应用价值。近年关于NLP顶会论文主题的统计显示，有关可解释性问题的研究正逐年增长，大量工作为解决模型的可解释性问题提供了很多新的见解。

11月7日，复旦大学的黄萱菁教授在“第五届语言与智能高峰论坛”作了题为“自然语言处理中的可理解分析”的报告，分类讲解了近期领域内的重要工作，并介绍了团队主攻的多项研究。

作者：周寅张皓

1

为什么需要可解释的自然语言处理？

当前针对NLP领域研究结果的统计显示，NLP模型的性能正在不断地逼近某个上限，在诸多任务上的性能提升十分有限。分析表示，当前的工作存在一些普遍的问题：

 

• 深度学习技术使我们的研究任务从特征工程过渡到了结构工程，但如何选择更好、更有效的结构是一个经验控制的过程。

• 模型的不可解释带来应用领域的风险，需要规避风险以拓展其应用空间。

 

近年来学界对可解释性问题的关注展现了解决以上问题的可能性。

自然语言处理中的可解释性

2

如何定义可解释性？

2.1. 理解模型部件的功能属性

2018年Alex Conneau的开创性工作 [1] 为研究模型编码的功能提供了一种研究方法。作者设计了十种“探针任务”，分别针对不同的输入特征（语义、语法结构、句长等）进行考察，发现特定的词对于任务的性能有着广泛的正相关性。工作为后续的可解释性研究提供了一种评价的标准，其采用指针任务的分析思路也得到了许多后继工作的沿用。