High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks CNN泛华论文解读

通常情况下，CNN表现特征和肉眼可理解的特征存在一定的出入，在CNN泛化能力上难以理解。本文以CMU 的汪浩瀚、邢波等人《High-frequency Component Helps Explain the Generalization of Convolutional Neural Network》中进行阐述。

参考  https://zhuanlan.zhihu.com/p/248068207?utm_source=wechat_session&utm_medium=social&utm_oi=843084519077736448&utm_campaign=shareopn

stage1：一个有趣的实验（探究网络从高频信号中能学习到什么东西）

预先在CIFAR10数据集上训练模型进行如下三组测试：①原始测试集；②高频信号抽取后重建测试集；③低频信号抽取后重建测试集；

分析：低频信号重建图和原始测试集在肉眼的角度审视，区别不大。而高频信号重建图（通常认为是高频噪声）肉眼几乎不可见。从人类的角度分类，低频信号重建图和原始图预测类别相似；然而，部分测试数据中的模型预测结果恰恰相反。作者分析，在一个有限的数据集中存在着高频信息与图片所表达语义的相互关联：在一个同分布的有限数据集中可能存在着一些无法察觉的高频信号刚好与图片的语义有些关联，进而导致了这些高频信号与数据集 label 的相互关联。当模型优化去降低损失函数时，模型可能会无差别地学习数据本身的信号或者这些高频信号，而这将使得对模型泛化能力的评估出现各种难以解释的现象。这样，尽管模型可能会达到较高的准确率，但它未必真的像人类一样理解数据。

stage2：探究对抗网络与高频信号的关系

论文中对比对抗网络卷积核和普通网络卷积核的区别，可以看到，对抗网络卷积核可视化结果更为平滑。从信号处理角度分析，平滑的卷积核可以抑制高频信号。但是，手动平滑卷积核，并不能大幅增加对抗网络的鲁棒性，结论：对抗鲁棒性较好的模型卷积核更加平滑，然而卷积核更加平滑的模型对抗鲁棒性未必更好。换言之：高频信息是对抗攻击的一部分，但并非全部。

stage3: 从高频信号解释 Batch Normalization 提升精度的原理

作者对测试集进行相同于stage1的操作，虚线是高频重建测试集的测试结果，实现是低频重建测试集结果。

可以看到，BN的使用可以大幅提升高频重建的准确率，学到了大量的高频信息：我们可以看到，BatchNorm 对应板块的虚线远远高于其他板块的虚线。这些结果说明 BatchNorm 之所以能够如此有效地提高模型的准确率，可能是在鼓励模型大量使用高频信息。正如前文所说的，在一个数据集里有各种信号，如果一个模型能利用更多的信号，那么它很有可能具备更高的准确率，这也符合我们所熟知的 BatchNorm 能够有效提高测试准确率的特点。

直观上来讲，我们猜测 BatchNorm 的优势来源于高频信息的像素值通常比较小（比如在图 1 中，高频重构的图片几乎只是一个黑色的方块）。而 BatchNorm 可能通过 normalization 提高了这个较小的值，使得模型更容易学到相关的信息。