卷积神经网络的可视化理解

最新推荐文章于 2023-11-08 17:30:26 发布

STUffT

最新推荐文章于 2023-11-08 17:30:26 发布

阅读量358

点赞数

分类专栏：读书文章标签： cnn 深度学习

本文链接：https://blog.csdn.net/qq_38869560/article/details/128320042

版权

读书专栏收录该内容

7 篇文章 0 订阅

订阅专栏

卷积神经网络的可视化理解

Visualizing and Understanding Convolutional Networks

Visualizing and Understanding Convolutional Networks

卷积神经网络的可视化理解

Zeiler, M.D., Fergus, R. (2014). Visualizing and Understanding Convolutional Networks. In: Fleet, D., Pajdla, T., Schiele, B., Tuytelaars, T. (eds) Computer Vision – ECCV 2014. ECCV 2014. Lecture Notes in Computer Science, vol 8689. Springer, Cham. https://doi.org/10.1007/978-3-319-10590-1_53

参考了同济子豪兄【精读AI论文】ZFNet深度学习图像分类算法

方法

使用标准全监督卷积神经网络，通过一系列层，将输入图像映射到输出类别的特征向量。

层结构：

通过一系列可学习卷积核对前一层输出进行卷积
通过非线性激活函数（relu）
[可选] 局部的巨大池化操作
[可选] 特征图间的归一化

实验设置：

数据集： $ {x, y} $ , y 是类别标签的离散变量
交叉熵损失函数，比较网络输出和真实标签
网络参数（卷积核、FC层的权重偏置）通过loss反向传播训练，通过梯度下降法更新

利用反卷积进行可视化

为了理解卷积神经网络的操作，需要理解中间层的特征活动。
通过将这些活动回馈到输入像素空间，来展示输入模式引起特征图中的特定激活。
反卷积网络（用于无监督学习）。本文中反卷积不具有学习能力，而是作为已训练好网络的探针。

流程，如下图：

输入图像传给卷积神经网络，计算特征
为了检查给定的convnet激活，将层中的所有其他激活设置为零，并将特征映射作为输入传递到附加的反卷积层
通过 (i) unpool, (ii) rectify and (iii) filter 操作在底层重构引起选择给定激活的活动。
重复上一步骤中操作，直到到达输入像素空间。

Unpooling：反池化。卷积神经网络中最大池化操作是不可逆的。通过记录池化区域中最大值的位置，来获取近似的池化操作的逆。如下图：
Rectification：修正。卷积神经网络使用 relu 非线性函数来确保特征映射始终为正。为获取每层中有效的特征重构，也使用 relu 非线性来传递重构信号。
Filtering：滤波器（卷积核）。卷积核对上一层特征映射进行卷积。为反演这一过程，反卷积使用相同卷积核的转置用于纠正映射。
此外，在整个重构过程，没有使用归一化操作。