笔记-关于神经网络黑盒模型可解释性，可视化

原博地址：深度学习黑盒可视化指南，从隐藏层开始

摘：

一旦神经网络接收到相当大的所需数据集后，该网络就会使用其精确的知识“权重”来证明或识别未知数据样本上的模式。

即在经过大量数据集训练以后，神经网络就可以学会该数据集的知识，知识表现为“权重”。知识可以用来判断与数据集同分布的数据的模式，即pattern。

数据偏向问题的例子

• 文中关于识别隐匿的tank，却表现为识别天气的模型。

这个故事的来源是这样的：
美国陆军希望使用神经网络来自动检测伪装的敌方坦克。研究人员用两组数据来训练神经网络，一组是50张坦克伪装在树林中的照片，另一组是50张没有坦克的树林照片。然后，研究人员又拍摄了另外一组100张的照片，并进行了测试。
神经网络将剩余的所有照片都进行了正确的分类。并且分类结果得到成功确认！研究人员将他们的检测方式移交给了五角大楼，五角大楼很快将其退还了，他们抱怨在该神经网络上的测试完全失败。
事实证明，在用于训练的数据集中，伪装坦克的照片是在阴天拍摄的，而平原森林的图像是在晴天拍摄的。神经网络只不过是学会了区分多云和晴天，而不是学会识别伪装的坦克。
无论故事是否真实，它都突出了深度学习中的“数据偏向”这一重要问题，但同时也让一些人认识到，他们只有在得到最终输出的结果后才能知道神经网络正在学习什么。即使结果对于给定的数据而言是正确的，但是更重要的是知道网络是如何给出这些结果的，这就是为什么我们必须要了解隐藏层的工作原理。

• 关于词向量模型中的性别歧视问题。

可视化的三个层面

前-数据层面的可视化-输入

• 显著图
  像素级，pixels，输入图像的某个像素对输出的影响的heat-map。

  显著图计算每个像素对结果的影响。这涉及到计算输入图像上每一个像素的输出梯度。正梯度表示像素值的变化会增加输出值。论文《 Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps》（《深度卷积网络：可视化图像分类模型和显著图》）最早介绍了这项技术，论文地址：https://arxiv.org/pdf/1312.6034v2.pdf

狗狗识别中的像素级热力图，可以看到对输出影响较大的点分布在狗狗脸部。

• 遮挡图
  区域级，regions，输入图像的某个区域对输出的影响的heat-map。

  遮挡，在英语中的意思是“隐藏或阻挡”某物。这就是遮挡图的工作原理。图像的某些部分被遮盖或“遮挡”，与此同时计算类的概率。如果概率减少，则图像的这部分很重要，否则就不重要。

对猫识别重要性大于0.85的区域

中-分层输出可视化-隐藏层

您可能想知道每个隐藏层是如何对输出层的最终结果起作用的。对模型进行微调以获得预期的结果，这一点尤为重要。那怎么做呢？了解具体每一层最突出的一系列特征，使我们能够在需要时，使用跳跃连接（ Skip Connection）来略过这些特性。

要注意的是，初始层正在学习识别形状和边缘等低级特征。这些层了解输入的要点。在随后的图层中，网络会尝试接触越来越多的模糊图案，如腿、耳朵、眼睛、颜色等。这就是为什么我们会说，网络越深，它学得越好。

后-激活最大化图-输出端

构造使输出为x的概率最大的输入图像，即为pattern-x的激活最大化图。
原理与GAN，有相似之处，感觉与编码解码器更类似。
激活pattern-x，然后反向运算得到输入图像。

黑熊和北极熊的输出最大化图。