深度卷积网络学习什么？（What are deep ConvNets learning?）-可视化

来源：Coursera吴恩达深度学习课程

深度卷积网络到底在学什么？在这个视频中将展示一些可视化的例子，可以帮助我们理解卷积网络中深度较大的层真正在做什么，这样有助于理解如何实现神经风格迁移。看一个例子。

这是一个Alexnet，轻量级网络，我们希望看到不同层之间隐藏单元的计算结果。从第一层的隐藏单元（hidden unit）开始，假设遍历了训练集，然后找到那些使得单元激活最大化的一些图片，或者是图片块（image patches），即弄明白哪一张图片最大限度地激活特定的单元（peculiar unit activation）。注意在第一层的隐藏单元，只能看到小部分卷积神经，如果要画出来哪些激活了激活单元，只有一小块图片块是有意义的，因为这就是特定单元所能看到的全部。选择一个隐藏单元，发现有9个图片最大化了单元激活，可能找到这样的9个图片块（编号1），似乎是图片浅层区域显示了隐藏单元所看到的，找到了边缘或者线，这就是那9个最大化地激活了隐藏单元激活项的图片块。然后你可以选一个另一个第一层的隐藏单元，重复刚才的步骤，这是另一个隐藏单元，似乎第二个由这9个图片块（编号2）组成。看来这个隐藏单元在输入区域，寻找这样的线条，我们也称之为接受域（receptive field）。对其他隐藏单元也进行处理，会发现其他隐藏单元趋向于激活类似于这样的图片。这个似乎对垂直明亮边缘左边有绿色的图片块（编号3）感兴趣，这一个隐藏单元倾向于橘色，这是一个有趣的图片块（编号4），红色和绿色混合成褐色或者棕橙色，但是神经元仍可以激活它。

以此类推，这是9个不同的代表性神经元（representative neurons），每一个不同的图片块都最大化地（maximally）激活了。你可以这样理解，（1）第一层的隐藏单元通常会找一些简单的特征（simple features），比如说边缘（edge）或者颜色阴影（particular shade of color）。

这个视频中使用的所有例子来自于Matthew Zener和Rob Fergus的这篇论文，题目是（ Visualizing and Understanding Convolutional Networks）《可视化理解卷积神经网络》。论文也提出了一些更复杂的（sophisticated）方式来可视化卷积神经网络的计算。

接下来，在深层（deeper）的隐藏单元中会进行怎样的运算呢？

如上图，是Layer1-Layer5得到的图片块。在Layer2中，可视化显示了第二层的9个隐藏单元，每一个又有9个图片块使得隐藏单元有较大的输出（very large output）或是较大的激活（very large activation）。上图放大了第一层，第一个隐藏单元（红色标记）大概是这个角度的边缘。（1）第一层的隐藏单元通常会找一些简单的特征（simple features），比如说边缘（edge）或者颜色阴影（particular shade of color）。

如上图，（2）第二层似乎检测到更复杂的形状和模式（more complex shapes and patterns），比如说这个隐藏单元（编号1），找到有很多垂线的垂直图案（vertical texture），这个隐藏单元（编号2）似乎在左侧有圆形图案（roundish shape）时会被高度激活，这个的特征（编号3）是很细的垂线（very thin vertical lines），以此类推，第二层检测的特征变得更加复杂。

（3）将第三层放大，正中间的隐藏单元似乎对图像左下角的圆形很敏感，所以检测到很多车。右下角的隐藏单元似乎开始检测到人类，左上角这个似乎检测特定的图案，蜂窝形状或者方形，类似这样规律的图案。有些很难看出来，需要手动弄明白检测到什么，总的来看第三层明显检测到更复杂的模式。

（4）再看第四层，检测到的模式和特征更加复杂，左上角的隐藏单元学习成了一个狗的检测器，但是这些狗看起来都很类似，并不清楚这些狗的种类。右上角的这个隐藏单元检测水吗？第6个隐藏单元似乎检测到鸟的脚等等。

（5）第五层检测到更加复杂的事物，注意到右下角的这个神经元，似乎是一个狗检测器，但是可以检测到的狗似乎更加多样性。左上角这个可以检测到键盘，或者是键盘质地的物体，可能是有很多点的物体。第4个神经元可能检测到文本，但是很难确定。第7个检测到花。总的来看，检测已经有了一些进展，从检测简单的事物，比如说，第一层的边缘，第二层的质地，到深层的复杂物体。

以上就是这篇文章的内容，我们可以更直观地了解卷积神经网络的浅层和深层是如何计算的。

说明：记录学习笔记，如果错误欢迎指正！转载请联系我。