神经网络的容量问题

综述

一般来说，使用WN的网络容量是要大于普通神经网络的。

如何理解网络的容量：一般来说，神经网络的参数对应着一组函数：函数集。我们之所以能够使用一个神经网络来逼近（拟合）某个目标函数是因为这个函数集包含了我们想要拟合的目标函数。这里容量就是神经网络表示函数集要包含目标函数。 显然大的容量才让我们的搜索有保障。

理论上已经证明足够多层的神经网络是可以拟合任何函数的。但是，实践中，我们网络的层数不可能是那么的多，而且层数增多训练压力也变大，效果变差。后来出现了ResNet等技术等为深层网络的训练提供了支持。