最基础的卷积神经网络图解
小结:
- 将Layer2层得到的5x5x16的单元展开为一维400长度的向量通过权重参数 w [ 3 ] w^{[3]} w[3]和偏置参数 b [ 3 ] b^{[3]} b[3]进行全连接,得到一长度为120的一维向量,后面类似,最终经过softmax函数进行判别。
- 笔记一中没有对通道数进行说明:通道数即为滤波器的数量,如图所示:Layer1为6,所以得到28x28x6的单元,Layer2为16,故得到10x10x16的单元
上述网络结构激活值及参数变化分析
观察表格可知:
- 池化层、最大池化层没有参数
- 卷积层参数相对较少
- 许多参数存在于神经网络的全连接层
- 随着神经网络加深,激活值会逐渐变小,根据吴恩达老师的经验:如果激活值下降太快,则会影响网络性能