深度学习小白——卷积神经网络可视化(三)

此篇主要总结一下《Understanding Neural Networks Through Deep Visualization》这篇论文


https://www.youtube.com/watch?v=AgkfIQ4IGaM介绍视频

这篇论文主要有以下两个贡献:

  1. 开发了一个软件,可以使得人们看到每个神经元对用户提供图片或视频的反实时应。

左上角为输入的图片或视频,左中为任意一个神经元的激活值图片,左下为从此神经元所在层开始的Deconv图片,右上为应用带惩罚项的梯度优化方法得到的九张图

右中为训练集中导致所选神经元激活值最高的9幅图。右下为上述九幅图作为输入时的deconv图。

     2.为了使得重建的图片可解释性更好,更自然,作者提出4中正则化方式,将其结合起来最终得到了效果最好的重建图片。


不用正则项

首先随机为每一个像素赋值,得到一个随机图片,前向传播算出对于网络中某个神经元i的激活值ai(x),然后,反向传播计算该激活值对于之前所有激活值的梯度(即设它梯度为1,然后执行反向传播),最后得到∂ai(x)/∂x,由梯度,我们知道如何去更新这幅图片,使得激活值变大。


但是最后却得到一些很模糊的图片,因为这些图片只是通过最大化激活值得到的,但没有引入自然图片的先前限制(regularization)



Weak Regularization

除了最大神经元激活值外,加入了惩罚项,避免了一些极端的像素值,使得图片更像自然图片。

Simonyan et al. 2013引入了L2正则化,得到了一些可以识别出来的图像


但是在这种方法下仍然会产生一些不自然,难以识别的图片。这些图片大都包括一些极端的像素值,结构化的高频模板还有一些局部样式的副本。 

Goodfellow et al. 2014解释道这些都是由于神经网络的局部线性行为导致的。

新的regularization 方法


用一个梯度上升模型,加上一个惩罚函数r,

  1. L2 decay:用于惩罚很大的像素值,这样可以阻止出现一些极端的像素值。                                                                 
  2. 高斯平滑:因为低频滤波器的激活值平均比高频滤波器大很多,所以从前一层到下一层时,为了让低频和高频滤波器信息以同样重要程度影响下一神经元,则低频连接的权值就会远远小于高频,则该神经元就会对高频信息更敏感。                              所以要用高斯平滑来抑制高频信息。rθ(x)=GaussianBlur(x,θb_width),因为每一步都平滑计算量很大,所以引入一个超参数θb_every表示每多少步执行一次高斯平滑                                                                                                                                                            
  3. Clipping pixels with small norm: 用完前两个正则化后,仍然有一些小而平滑的像素值不为0,我们希望它们为0.所以采用计算每个像素的norm值并设定一个阈值,低于这个阈值的范数值就将该像素设为0                                                                                               
  4. Clipping pixels with small contribution:
计算每个像素对激活值的贡献,即当设该像素为0时,激活值改变了多少,x-j就是把第j个像素设为0,但这 个方法会很慢因为要遍历每个像素,所以本文近似该过程。通过将ai(x)近似看成x的线性函数,使得每维的贡献可以被x与梯度 的内积算出来,然后把三个通道的值加来取绝对值, 然后把贡献值低于阈值θc_pct的像素值设为0。



为了选出合适的一组超参数,采用随机搜索300个可能组合的方式最后找到4个较合适的组合。





结  论

第一个交互软件工具展示了卷积层的最后几层表现趋于聚集性,局部性,那些通道对应着特定的,自然部分(车轮,脸等)
而不是完全分散的码向量。这也意味着并不是所有特征都对应着自然图像部分,所以如果要在conv4,conv5上做迁移学习,那么朝着稀疏的连接的倾向可能会有帮助,在每一层只有少数特征会在高层结合成重要的特征。
第二个,一些新的regularizations方式使得一个更清晰更好的关于学习到的特征的可视化。会帮助研究者们理解,调试和改进他们的模型。


阅读更多
换一批

没有更多推荐了,返回首页