谷歌NLP深度学习模型BERT特征的可解释性表现怎么样？

从BOW到BERT

自2013年Mikolov等人提出了Word2Vec以来，我们在词嵌入方面已经有了很多发展。如今，几乎所有机器学习业内人士都能熟背“国王减去男人加上女人等于女王”这类箴言。目前，这些可解释的词嵌入已成为许多基于深度学习的NLP系统的重要部分。

去年10月初，Google AI提出了BERT表征——Transformer双向编码表征（论文链接：https://arxiv.org/abs/1810.04805 ，项目代码：https://github.com/google-research/bert ）。看上去，Google又完成了惊人之举：他们提出了一种新的学习上下文词表征的模型，该模型在11个NLP任务上都优化了当前最好结果，“甚至在最具挑战性的问答任务上超过了人类的表现”。然而，这中间仍然存在着一个问题：这些上下文词表示究竟编码了什么内容？这些特征是否能像Word2Vec生成的词嵌入那样具有可解释性？

图：BERT编码器

本文就重点讨论上述问题：BERT模型生成的固定词表征的可解释性。我们发现，不用分析得太过深入，我们就能观察到一些有趣的现象。

分析BERT表征

无上下文方式

我们先来看一个简单例子——不管任何上下文。这里，我们先忽略掉BERT其实是在一串连续的表征上训练的这一事实。在本文讲到的所有实验中࿰