论文:High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks
核心:论文注意到CNN具备捕获人类无法感知的高频成分能力,
2020年CVPR 顶会
实验一:
发现了一些非常奇怪的事情:模型对人眼看上去和原图差不多的低频图错误预测,反而正确预测了全黑的高频图
(左边是原始图片,中间是低频图片 ,右边是高频图片)
就这个现象作者提出了合理假设:人类只能感知低频,CNN对低频高频都有感知;
说明,人类只在低频信息中做出预测,CNN会同时利用高频和低频信息
实验二
本文对CNN的数据学习模式做了以下推理:
在正确标注的样本中,CNN倾向于先学习低频信息,再逐渐提取高频信息,以提升精度;
在混淆标签样本中,低频信息不再与标签相关联,所以模型对于低频信息与高频信息不再区别对待,意味着CNN开始记忆数据本身的信息。
为了验证以上想法的正确性,作者分别利用正确标注和混淆标注的CIFAR10数据的低频信息,在ResNet18上训练分类器,观察其收敛情况,如下图所示:
从上图中可以发现&