可解释性深度学习工具Captum轻度体验

最近对可解释性平台Captum进行了实际操作。这是Facebook 发布的一个基于 Pytorch 的模型解释库。该库为许多新的算法（如：ResNet、BERT、一些语义分割网络等）提供了解释性，帮助大家更好地理解对模型预测结果产生作用的具体特征、神经元及神经网络层。针对图像分类问题，其可以快速定位影响结果的一些像素点，并进行可视化展现；而对于文本翻译等问题，能够可视化标注出不同单词的重要性，以及利用heatmap展示单词之间的相关性等。

---

1. 安装

首先是安装，其实只要电脑符合前置要求，安装起来非常简单。

• Python >= 3.6
• PyTorch >= 1.2

Conda的安装方法：

conda install captum -c pytorch

Pip的安装方法：

pip install captum

上面两种方法直接在命令行中运行即可。下面我们分别从结构化数据、非结构化数据（图像与文本）来看看目前的一些工作如何说明可解释性问题。本博客主要内容来源于官方教程（Captum Tutorials）。

---

2. 结构化数据

以泰坦尼克号数据集（