线性Frequency Principle动力学：定量理解深度学习的一种有效模型

关于作者：本文的作者是来自上海交通大学致远学院 08 级理科班的四位研究人员。本文由许志钦执笔，张耀宇修改，罗涛和马征审阅校正。这个小组的研究兴趣主要是深度学习理论。

深度学习的广泛成功吸引了大量的科研人员来探索其工作原理。时至今日，深度神经网络（DNN）的许多特性仍然令人费解，比如在模型参数远多于训练样本的情况下，DNN 通常能够较好地泛化。

为了找到分析这个问题的一种思路，我们将深度神经网络和热力学系统进行类比。在热力学系统里，粒子数通常都能达到这样的量级，因此我们几乎不可能通过对每个粒子的运动进行准确的牛顿力学刻画来理解整个系统的宏观性质。

类似地，对于深度学习，在很多实用的网络构架中，神经元数目很容易达到万的量级，参数数目成百万乃至上亿都很常见。因此，虽然我们可以追踪 DNN 每个参数的演化轨迹，但是仍然难以认识其背后的规律。

基于以上类比，我们可以自然地借鉴物理学的研究方法来理解深度学习。从物理的角度研究一个复杂的系统，我们通常从现象出发，通过构建一些定性乃至定量的有效模型来揭示系统演化的关键规律。

基于这样一种思路，这篇文章我们从深度学习中一种广泛存在现象——频率原则（Frequency Principle 或 F-Principle）即 DNN 倾向于按从低频到高频的顺序来拟合训练数据出发，将给出一种能够在一定情况下定量预测神经网络学习结果的有效模型。 

我们先用一个简单的例子来理解 F-Principle。用一个 DNN 去拟合下图中红色实线函数，训练完后，DNN（蓝色点）能很好地拟合该函数。

 

DNN 输出函数在频率空间的演化过程如下图动画所示，其中红色虚线为目标函数的FT（傅里叶变换），蓝色实线为 DNN 输出函数的 FT，每一帧表示一个训练步，横坐标为频率，纵坐标为振幅。容易发现，在训练过程中，DNN 输出函数在频域空间有一个清晰的演化规律，即其按频率从低到高依次收敛。

为了定量预测神经网络学习结果，基于 F-Princip