分段函数怎么用神经网络进行拟合_神经网络为什么可以（理论上）拟合任何函数？...

给大家一个简单答案吧

用一个fourier 变换

问题来了为啥要deep呢？

答案在这里 居然特别简单 deep了你有高频的震荡了你可以efficient 的locally逼近x^2 然后就有所有local的逼近多项式了

local polynomial在holder和sobolev space是optimal的 我们就扩大了空间了

【这篇paper发在很一般期刊上而且题目不吸引人我一直忘记 求好心人给reference

感谢评论区

Yarotsky D. Error bounds for approximations with deep ReLU networks[J]. Neural Networks, 2017, 94: 103-114.

大家都知道fourier/polynomial 变化逼近非光滑函数非常的不efficient

【后面内容数学上就不trivial了

这时候我们应该用wavelet

所以后续有paper说你用四层nn 能表示出来一个wavelet变换

所以就能逼近不光滑函数，而且比起二层NN效率高很多【可以证明

【下面这篇加上了 estimation和2layer的lower bound，最早用wavelet的应该是Ronald coifman院士的paper……

Adaptivity of deep reLU network for learning in besov and mixed smooth besov spaces: optimal rate and curse of dimensionality Taiji Suzuki iclr2018

最后关于 @Lyken 提到神经网络=分片线性