- 卷积神经网络与人工神经网络
- 神经网络的层级结构
- 数据输入层
- 权值初始化
1.卷积神经网络与人工神经网络
卷积神经网络与一般的神经网络很相似,每个节点都接受相应的数据,有点乘,也有非线性映射,但卷积神经网络最大的改进之处在于卷积层,它极大的减少了参数w的数量,以至于大大降低了计算量。那它到底是具体怎么做的呢?我们一起来谈一个究竟。
就像我在这篇文章(人工神经网络)中说过的那样,神经网络会接受一个输入(一般为向量表示的图片数据),同时让这些数据通过一系列隐藏层,每个隐藏层都有很多神经节点,每个神经节点又和其他隐藏层的神经节点相连,同一层上的神经节点相互独立,最后再接一个全连接层,输出每张图片属于每个类别的概率。
仔细思考,你就会发现,如果一张图片是32X32X3(32为宽度,32为高度,3为三个颜色通道),那么在全连接层就有32X32X3 = 3072个参数,但如果是200X200X3的图片呢,在全连接层需要的参数就高达120000,这就会带来了两个大问题:
A.数据计算特别慢,非常消耗计算资源
B.参数太多,同时带来的误差也会非常大,很容易造成过拟合。
那怎么办呢?
最简单的想法就是较少权重参数嘛,那卷积神经网络又是怎么减少权重参数的呢?如图可见,卷积神经网络中的卷积有一个三维结构:宽度,高度,和深度(注意这里的深度是第三个维度,不是整个网络的深度)。
左图是标准的3层神经网络结构,右图是卷积神经网络,宽度和高度表示了图片的维度,而深度表示三个的颜色通道。
2.神经网络的层级结构
如图所示,卷积神经网络一共分为五层,分别是: