Neural Network Compression by Filter Similarity Detection and Visualization

参考论文：Neural Network Compression by Filter Similarity Detection and Visualization.
本文中的图片均来自上述论文。

摘要

        本文提出了一种基于深度可视化技术的自动滤波器相似性检测和修剪系统。在视觉任务期间，发现神经网络收敛到类似的滤波器，导致参数空间冗余的显着增加，从而使得时间和处理能力的高消耗。此外，神经网络的内部工作是不透明的，因此提取哪些特征在哪个层中，如何提取它们以及这些提取的特征对于最终输出有多大可行性是不易处理的。为了减轻参数冗余，我们引入了一种基于相似性度量来可视化和检测类似过滤器的技术。而且我们在修剪后实现了压缩和高效的体系结构，并且当应用于标准图像数据集时，我们观察到学习性能没有下降。
        即该论文的核心思想就是把类似的过滤器给找出来，并且可视化出来。然后删掉这些类似的，只保留其中的一个。

大致步骤

        首先，可视化过滤器的激活图。
        然后，通过可视化，我们可以识别和提取层中的相似滤波器。
        最后，通过消除相似的滤波器，可以减少参数数量并确定参数空间中的动态。
        （我们使用余弦相似性度量来确定两个滤波器之间的相似性。）