神经网络尺寸
神经网络主要由输入层,隐含层,输出层组成。神经网络的尺寸,通常用神经元个数以及学习参数个数来衡量。下图选自cs231n课程笔记,描述了两个神经网络结构:
神经元个数指的是隐含层以及输出层的神经元个数之和。
左图中,神经元的个数为
4+2=6
,右图中,神经元的个数为
4+4+1=9
参数的个数:左图中权重有
3∗4+4∗2=20
,偏置有
4+2=6
,一共26个参数
右图中权重有
3∗4+4∗4+4∗1=32
,偏置有
4+4+1=9
,一共41个参数
神经网络表达能力
神经网络的表达能力主要由隐层的层数和隐层神经元个数决定。理论上,仅包含一个隐含层的神经网络就可以近似所有的连续函数,但是很难拟合,所以现实中一般会构造多个隐层来更容易的拟合函数。但是,大多数情况下,4,5,6层及以上的神经网络也很难再提高性能。不过,对于图像处理领域的卷积神经网络,显然深度非常重要,这与图像的局部相关性有很大关系。
对于隐层神经元个数,值得一提的是,神经元越多,网络的表达能力越强,但是,也会造成过拟合的现象。
那么我们是否为了避免过拟合现象而选用更小的网络呢?
显然不是,因为小网络的表达能力有限,所以我们仍然会选择大网络。
那么我们怎样来避免大网络的过拟合现象?
我们可以通过正则项来解决这个问题,如L2,值得注意的是,可以通过
λ
来调节正则项的影响程度,如果正则化强度过大,则也会降低网络的表达能力。所以,
λ
作为一个超参数,如何设置也是一件头痛的事情