容量的概念

比如：（1）y=a₁x+a₂ ,a₁,a₂为任意常数，显然它可以表达无数个函数。
（2）y=a₁x²+a₂x+a₃ ,a₁,a₂,a₃为任意常数,显然它能比上一个函数表达更多的函数。
一个函数能够表达的函数的数量就称为容量。有一个概念需要注意一下：并不是说一个函数可以表达无穷多个函数它就能表达任意函数。上面的（2）可以表达（1），而（1）未必能表达（2）。
如果一个表达式可以任意精度的表示任何函数，则该表示为万能函数逼近器。
有两个关于神经网络尚未解决的问题：
（1）对于隐层有相同神经元数而其结构不同的两个神经网络，哪个容量更大并不清楚。
比如，一个神经网络有三个隐层，1,2，3层的神经元数分别为：100,200,300个。另一个有两个隐层，分别为300,400。他们两个谁的容量更大并不清楚。
（2）面对一个实际问题，如何选择神经网络的容量，并不清楚。比如，隐层神经网的层数，以及各个层的神经元数。
神经网络容量大小与过拟合和欠拟合紧密相关。一般而言神经网络的容量越大，越容易过拟合。神经网络的容量越小，越容易欠拟合。