通常我们认为深度学习模型是“黑盒”的,即模型学到的表示很难用人类可以理解的方式来提取和呈现。然而对于卷积神经网络来说却不是这样的。CNN学到的表示非常适合可视化,因为CNN本身就是视觉概念的表示。
CNN可视化和解释:【本文给出3个层面的可视化】
1)可视化卷积神经网络的中间输出(中间激活)
有助于理解卷积网络神经连续的层如何对输入进行变换,也有助于初步了解卷积神经网络每个过滤器的含义。
2)可视化卷积神经网络的过滤器
有助于精确理解卷积神经网络中每个过滤器容易接受的视觉模式或视觉概念。
3)可视化图像中类激活的热力图
有助于理解图像的哪个部分被识别为属于某个类别,从而可以定位图像中的物体。
一、可视化中间激活
可视化中间激活,是指对于给定输入,展示网络中各个卷积层和池化层输出的特征图(层的输出通常被称为该层的激活,即激活函数的输出)。
可视化中间激活,可以看到输入如何被分解为网络学到的不同过滤器。
从三个维度对特征图进行可视化:宽度、高度和深度(通道)。每个通道都对应相对独立的特征,所以讲这些特征图可视化的正确方法是将每个通道的内容分别绘制成二维图像。
原图如下: