Understanding Neural Networks Through Deep Visualization论文

        这篇论文提出两种可视化方法。
        第一种：即本文中的2. Visualizing Live Convnet Activations部分，直接画出激活函数的值，这种方法比较简单，没有什么可研究的。

        第二种：即本文中的3. Visualizing via Regularized Optimization部分，是本篇论文的重点。本文构建了一个目标函数如下：

        这个公式的意思就是寻找一个x使得后面的式子最大，而找到的这个x*就是我们可视化出的结果。后面的式子由两部分构成，前面是激活函数，后面是一个正则项。为了更容易求解这个式子，我们通过下面的式子来更新x：

         经过正则项来更新x，本文提出四种正则化方法。
        L2 decay:这个正则化的思想就是通过 来惩罚大的值，排除一些极端像素。这些极端像素，也可以叫做噪声点，这些点对可视化没有用。
        Gaussian blur: 高斯模糊就是把某一点周围的像素色值按高斯曲线统计起来，采用数学上加权平均的计算方法得到这条曲线的色值，最后能够留下人物的轮廓，达到平滑的效果。这么做的思想是惩罚高频，这些高频引起高的激活值，但他们是既非现实的也非可理解的。
        Clipping pixels with small norm:前两种发表方法是抑制高振幅高频信息，留下来的图像包涵很多非零像素。这些非零像素会识别多个目标，而我们希望只识别主要的那个目标。因此我们的做法是设置个阈值，将小于阈值的像素置为零
        Clipping pixels with small contribution:计算出每个像素对激活值的贡献，即把像素x置为0 ，看激活值增加还是减少。即把第j个像素置为0。这中方法直观但效率特别低，实现起来非常慢，因此文中采用了一种近似的求解方法。梯度和x的内积，RGB三个通道相加，求绝对值，然后和阈值比较。

        对于超参的，本文搜索随机的300种超参的组合。

        可视化结果如下图：