此篇主要总结一下《Understanding Neural Networks Through Deep Visualization》这篇论文
https://www.youtube.com/watch?v=AgkfIQ4IGaM介绍视频
这篇论文主要有以下两个贡献:
- 开发了一个软件,可以使得人们看到每个神经元对用户提供图片或视频的反实时应。
左上角为输入的图片或视频,左中为任意一个神经元的激活值图片,左下为从此神经元所在层开始的Deconv图片,右上为应用带惩罚项的梯度优化方法得到的九张图
右中为训练集中导致所选神经元激活值最高的9幅图。右下为上述九幅图作为输入时的deconv图。
2.为了使得重建的图片可解释性更好,更自然,作者提出4中正则化方式,将其结合起来最终得到了效果最好的重建图片。
不用正则项
首先随机为每一个像素赋值,得到一个随机图片,前向传播算出对于网络中某个神经元i的激活值ai(x),然后,反向传播计算该激活值对于之前所有激活值的梯度(即设它梯度为1,然后执行反向传播),最后得到