本文探讨了神经网络在处理数据时如何利用傅里叶理论进行隐式正则化，强调了激活函数光滑性对高频成分衰减的影响。在傅里叶空间中，函数的光滑性与收敛速度相关，而ReLU等不光滑激活函数能加速高频的收敛，提高泛化性能。此外，文章还讨论了低频先收敛的现象在优化算法如共轭梯度下降中的体现，以及在图像识别问题中，神经网络为何能很好地处理高频幅度小的情况。傅里叶变换在理解和解决高频问题中的作用也得到了阐述。
参数量>>数据量 过参数化
限制条件没法完全限制住参数，多解
神经网络为什么好，应用的数据 图片、语言、文字这些数据很有价值
训练过程似乎遵循某些基本原则，叫“隐式正则化 ” 隐式偏向（人的意识里）
为什么偏向先学习低频？
ReLU关于ξ^2衰减
函数积分后更光滑；光滑则衰减更快；频率空间和时域空间无法同时精确
光滑性就是看能否求导、是否连续
激活函数 在傅里叶空间 单调衰减、和神经网络在傅里叶空间具有某种单调性 是一致的。
二次函数*高斯函数
震荡越厉害，高频越多
加速高频的收敛
以两层神经网络为例：
连续化以后 相对于考虑这两个函数的二范数
最低0.47元/天 解锁文章
扫一扫
6709
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
