NLP中的可解释性AI

NLP中的可解释性AI

本文是学习哈工大张挺教授作的报告的笔记

链接：https://mp.weixin.qq.com/s/ChDfxbKGUORjIM0PW8U68g

XAI in NLP

NLP中的可解释AI主要分两种方法

• 透明模型
• 事后解释

透明模型包括词袋模型这样的可以从结果看出模型推理的过程，或者说公式明确的模型；事后解释的典型是神经网络这样的黑盒模型，在模型得出结果后，才根据结果猜测模型内部发生了什么。

XNLP & XCV

NLP和CV都可以通过注意力机制高亮对应区域给出一定的解释性，相比于CV，NLP还可以输出一些解释文本，比如结构化的知识图谱，推理路径等。

白盒透明模型设计

报告中介绍了哈工大工作：基于自然逻辑的多项选择问答，自然逻辑又是基于语义单调性的，语义单调性包含了七种基本的语义关系。这种语义分析方式我也是第一次见。同时采用证据推理 支持问答任务。

黑盒事后解释

样例驱动

这种思路最好的例子就是KNN，模型的结果可以根据数据集中的样本给出解释性。

还有一个例子是哈工大的舆情分析中的可解释性，运用了图神经网络的方法，构建子图，提取关键词、句，作为解释情绪的原因。

注意力机制

一个例子是阅读理解任务中自注意力矩阵的构成，也是哈工大课题组的工作，矩阵中包含了Q2Q，P2P，Q2P，P2Q 。P Q 分别代表Passage Query。最终结果表明，P2Q（答案验证）和P2P（篇章理解）是影响阅读理解任务结果的最主要原因。

探针方法

探针方法使用模型获得的编码表征训练一个分类器，根据分类结果，探索“编码表征”中是否包含了语言学知识：词性、句法、语义等。

一个例子在对话中加入QA对，人工构造问题来判断模型是否理解对话中的指代和消解。

报告后文还有一些无监督文本生产的解释，以及可解释性的评价。详情可见报告原文。