从傅里叶分析角度解读深度学习的泛化能力

作者丨许志钦

学校丨纽约大学阿布扎比分校博士后，纽约大学库朗研究所访问学者

研究方向丨计算神经科学，深度学习理论

深度学习成功地应用在很多领域，但对它的理论理解却非常缺乏。这两年，很多理论学家把关注点放在一个关于深度学习与传统学习理论的悖论上。在传统学习理论中，模型的参数越多，模型一般会更好地拟合训练数据，但模型的泛化能力（拟合测试数据集的能力）会变差。在深度学习中，参数的数目比训练数据集要大得多，但深度网络（DNN）却通常既能拟合好训练数据，又保持良好的泛化能力。这个违反直觉的现象被大家称为“明显悖论” (apparent paradox)。

频率原则（F-Principle）

最近有几篇文章 [1,2,3] 从傅里叶分析的角度，在实验和理论上揭示了该悖论背后的一种机制。

▲ 文献1

▲ 文献2

▲ 文献3

一般来说，在深度学习中，大家用来测试结论的例子或者是手写数字集（MNIST），或者是图像分类集（CIFAR）。这两类数据集相对实际应用的数据集确实已经足够简单，但在分析上，它们仍是非常复杂的，因为它们的输入维度仍然非常高（像素点的个数）。

我们可以从拟合一维函数出发考虑这个问题。训练数据集是少数几个均匀采样数据点，如果用多项式去拟合，阶数很高的时候（大于数据点个数），拟合的结果通常是一个能够精确刻画训练数据但振荡厉害的函数。但如果用 DNN，无论多大规模，通常学习到的曲线都是相对平坦的。因为是一维函数，所以很容易想到，振荡和平坦可用傅里叶分析定量地刻画。于是就自然能猜想到，DNN 在学习的时候可能更加偏爱低频成分。

下面是一个一维函数的例子 [1]（图 1a 中的黑点），对数据作离散傅里叶变换后如图 1b 所示，考虑图 1b 中的频率峰值（黑点）在训练中的相对误差，如图 1c，频率越高，收敛越慢（蓝色表示相对误差大，红色表示相对误差小）。频率原则可以粗糙地表述成：DNN 在拟合目标函数的过程中，有从低频到高频的先后顺序。（Frequency Principle or F-Principle in [1], or spectral bias in