[深度学习基础] 斯坦福CS231n李飞飞计算机视觉Lecture 9笔记

Lecture 9 Understanding and Visualizing Convolution Neural Networks

本章节内大多数都是图片表示的卷积网络内部图片，有些会比较晦涩难懂，听的也比较迷糊，尽量写我明白的，写的不对的地方，欢迎指导。

卷积神经网络内部可视化

滤波器/卷积核可视化

先来看卷积核在第一层的样子，包含了几种常用模型的卷积核：

接下来看一下后续二，三层的卷积核可视化图：

卷积核部分比较好理解，最后看一下全连接层部分，也就是多数模型最后两层全连接（4096维）部分：

这一层全连接在可视化的意义在于将内容相近的物体进行临近归类，将这4096维向量降维到2维的图片就比较好理解了，类似于主成分分析，最相似的是一种t-SNE效果，t-SNE大致将原本样本通过相似度归类为几类：

而在最后输出图像可以看出相似的图片，例如猫，狗，船，每一类别内的图片之间距离都很近：

还有一个小问题，当我用一个补丁快掩盖原图时，那么所判断的类别分数会发生如何变化：

可以看到，当我补丁在周围背景时，分数比较高，但是当补丁到物体身上时，得分会显著下降。

可视化中间激活层结果

看过了卷积核可视化，我们可以看一下中间激活层输出结果的可视化，这里有一个视频，很好地展示了中间激活层的表现：https://www.youtube.com/watch?v=AgkfIQ4IGaM，有一个非常好的方法叫guided backpropogation，具体操作为想要查看某一神经元的激活结果，那么就将这一神经元的反向传播置为1，而后查看图像梯度，就能看出图像像素对这个神经元起到作用，这里guided backpropogation方法不仅将ReLU激活层置0，也将回传时的负数置0，就能看出哪些像素是对激活层产生正向作用了：

下面是结果，上面图是较浅的激活层，下图是较深的激活层：

最大可视化某一类别

这个意思就是说在最后的类别评分层中，将某一你想要最大化的类别不变，其他类别分数全部置为0，这样在最后的表现上，会看到很有意思的结果：

上图中$S_c(I)$为softmax之前的类别c分数，后面则是正则化项，此处为L2正则化，可以看到结果是将最大化的类别填满了整张图。

还可以使用一种更新后的正则化项，大致就是高斯模糊图像，将小的值与小的梯度置为01，结果为：

Deep Dream

Deep Dream是一个很有意思的项目，它大体意思是在某一层上将将梯度等于它的激活后的数值，这样，当某一神经元是对狗比较感兴趣时，那么就会在原图上检测出一点点类似于狗的信息时，就会将它的梯度上升，使之更加生成狗：

Neural Style

Neural Style是一个更有意思的项目，将两张图片进行很有意思的融合，大体上就是将目标图片先丢入网络学习激活，再将风格图片进行后续纹理填充：


上面是一种更新版本的Fast Style Transfer，大体细节就不赘述了，这里有一个很好的在线尝试网站：https://deepart.io/hire/

小结

本节讲述了很多有意思的可视化方式与两个生成模型，最后有对抗网络的东西我就没太仔细听了，以后有时间再了解一下。

资料来源：

1. 斯坦福CS231n李飞飞计算机视觉视频课程：https://study.163.com/course/courseMain.htm?courseId=1003223001
2. CS231n官方笔记授权翻译总集篇：https://zhuanlan.zhihu.com/p/21930884
3. CS231n官方PPT：http://vision.stanford.edu/teaching/cs231n/syllabus.html
4. 可视化激活层：https://www.youtube.com/watch?v=AgkfIQ4IGaM
5. Neural Style 尝试网站：https://deepart.io/hire/