论文引介 | Understanding Neural Networks

文章原名：Understanding Neural Networks through Representation Erasure

作者：Jiwei Li, Will Monroe and Dan Jurafsky

单位：斯坦福大学

原文地址：

https://arxiv.org/pdf/1612.08220v3.pdf（可戳下方阅读原文）

1

导读

在这篇文章中，为了解决神经网络的不可解释性，这篇文章尝试着抹掉不同部分的表示，比如：输入词向量的表示，中间隐单元或是输入单词，来分析和解释神经元网络所做出的决策。作者使用了诸如增强学习等多种方法来分析representation erasure对神经网络的影响，并在语言特征分类、情感分析做了深度的剖析，不仅解释了神经元网络的决策，还提供一种可以对神经网络模型错误分析的方式。本文做了大量的实验，并有了十分有趣的发现。

2

模型&实验

词向量维度以及语言学特征之间的联系

词向量可以很好的将人们可解释的特征编码，但是这些特征怎样编码到词向量中，标注模型如何提取这些特征我们都是不清楚的。作者先在benchmark上训练好模型，再分析representation erasure对模型决策的影响。在这里使用如公式(1)来表示维度d的重要性。

　　

其中表示对应给定的训练好的神经元网络每个训练样本对黄金标准标签c的log-likelihood。而则表示去除维度d的log-likelihood。

作者在词性标注，命名实体识别等任务上做了实验，发现实验结果也很有趣。如图(1)所示，作者将输入单词的某些维度设置成0，通过公式(1)计算相应维度的重要程度。

对于word2vec的词向量来说，模型会更加侧重于某一些维度，某些任务也具有相类似的特征，比如：Pos和Chunking更侧重于第34维；NER，prefix和suffix则是第4维和第31维。当使用了Dropout技术后，可以看到重要程度在不同维度上的分布更加均匀了。

相比较Glove而言，如图(1c)所有任务上都是第31维起到决定性作用；erase第31维后如图(1d)，发现第26维起到了主导作用；将这两维度全部erase后模型的效果没有下降，重要程度的分布变得均匀，如图(1e)；而使用了Dropout后这两个维度重要程度依旧十分突出，如图(1f)。作者给出的解释是：如图(3)所示，26维和31维与词频都十分相关，由于词频对于许多分类任务来说是一个十分重要的特征，但是除了词频剩下的维度也有足够的信息可以帮助模型做出正确的决策，因此再去掉这两维后效果并不会下降。进而可以看出glove比word2vec有更强的词频特征。

图(2)则是说明在词性标注任务中隐单元维度的重要程度，可以看到在高层的神经元重要程度的分布更加均匀，得分也随着层数的增高下降，保证了模型的鲁棒性。

情感分析中词和短语

• 个别词语对于情感分析的重要性

在这里测试了双向和单向LSTM以及标准RNN三种模型，分别在句子级别的情感分析准确度中达到了0.526，0.501和0.453的准确率。如表(1)和(3)所示，从一些情感词语上来看，双向LSTM对情感词最敏感，其次是单向LSTM及标准RNN，作者认为是门控机制控制了信息的流动，使得模型能够更好的集中在情感词语上。

从图(5)上看，如loved，entertainment，greatest等词对这三种模型的重要程度都很高，LSTM则对情感词语识别的更加清晰。如表(2)所示，若erase一些词语后，对模型的决策也有所帮助，这样可以帮助我们分析是哪些词语扰乱了模型的决断。

• 多个词语的影响

作者将问题定义为寻找最少数目的能够改变模型决策的词语数目，如公式(2)所示。其中，D表示需要erase的词语集合，e为输入的单词集合，Le表示模型对于集合e给出的标签。

如果对所有可能的情况都考虑计算复杂度会非常高，因此作者参考了增强学习的方法，近似的求解该问题，如公式(6)(7)。如公式(2)所示，为模型的reward，公式(3)则是正则项。

　　

　　

如表(4)所示，可以看到使用增强学习的方法可以识别出表示不同方面情感的重要短语，可以基本解释了模型如何做出决策。(a)和(b)比较来看，LSTM需要erase更多的单词才能反转模型的决策，基于memory的模型相比较LSTM有更好的解释性。

3

总结

本篇文章做了充分的实验来探究影响神经网络决策的因素，并为情感分析等提供了一种错误分析的方法，同时作者将增强学习的思路引入到representation erasure的探究当中。为我们理解word2vec和Glove两种计算词向量的方法，神经网络决策，神经网络模型如何在情感分析任务上做决策提供了直观的说明。