一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?

之前面试的时候被询问过相关题，这里把答案整理一下

先给出结论：
大部分情况下 “深” 都比 “宽” 更加有效。

理由是：
想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络！

理论依据来源：
Why Deep Neural Networks for Function Approximation
ICLR 2017
Why Deep Neural Networks for Function Approximation
ICLR 2017

有兴趣的可以看一下

之前面试的时候被询问过相关题，答案整理如上所示~