High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks笔记

论文下载

摘要

研究了卷积神经网络（CNN）的泛化行为与图像数据频谱的关系。

CNN捕捉图像高频分量（这些高频成分几乎是人类无法察觉的）。

先根据观察结果引出了与CNN的泛化行为相关的多个假设，

包括1 对抗性例子的可能解释，

2 CNN在稳健性和准确性之间的权衡的讨论，

3 理解训练启发式的一些证据。

多个假设

1. 在原始标签情况下，模型首先提取LFC，然后逐步提取HFC，以获得更高的训练精度。
2. 在标签洗牌的情况下，由于标签和LFC之间的关联被洗牌消除，当LFC和HFC被同等对待时，模型必须记住图像。

低频&高频

FFT频谱图中靠近中心区域是低频分量，远离中心区域是高频分量。

低频成分一般就是图片纹理或者信息，高频成分就是一些边缘和像素锐变区域。

高频成分可能包括和类别相关的特定信息，也可以包括分布外的噪声，并且该噪声对模型训练是有害的，会影响泛化能力。

但是CNN训练时候会同时面对语义低频成分和高频成分，

这个gap就会导致CNN学习出来的模型和人类理解的模型不一样，从而出现常规的泛化认知错误。

 

参考

[1]（论文解读）High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks——全文理解

[2]【论文阅读】CNN泛化能力——思路