神经网络尺寸和表达能力

神经网络尺寸

神经网络主要由输入层，隐含层，输出层组成。神经网络的尺寸，通常用神经元个数以及学习参数个数来衡量。下图选自cs231n课程笔记，描述了两个神经网络结构：

神经元个数指的是隐含层以及输出层的神经元个数之和。
左图中，神经元的个数为$4+2=6$,右图中，神经元的个数为$4+4+1=9$
参数的个数：左图中权重有$3*4+4*2=20$，偏置有$4+2=6$，一共26个参数
右图中权重有$3*4+4*4+4*1=32$，偏置有$4+4+1=9$，一共41个参数

神经网络表达能力

神经网络的表达能力主要由隐层的层数和隐层神经元个数决定。理论上，仅包含一个隐含层的神经网络就可以近似所有的连续函数，但是很难拟合，所以现实中一般会构造多个隐层来更容易的拟合函数。但是，大多数情况下，4,5,6层及以上的神经网络也很难再提高性能。不过，对于图像处理领域的卷积神经网络，显然深度非常重要，这与图像的局部相关性有很大关系。

对于隐层神经元个数，值得一提的是，神经元越多，网络的表达能力越强，但是，也会造成过拟合的现象。
那么我们是否为了避免过拟合现象而选用更小的网络呢？
显然不是，因为小网络的表达能力有限，所以我们仍然会选择大网络。
那么我们怎样来避免大网络的过拟合现象？
我们可以通过正则项来解决这个问题，如L2，值得注意的是，可以通过$\lambda$ 来调节正则项的影响程度，如果正则化强度过大，则也会降低网络的表达能力。所以，$\lambda$作为一个超参数，如何设置也是一件头痛的事情