卷积神经网络基础1

最近又将卷积神经网络回顾了一遍，现将部分基础知识记录在此，首先看下图：

第一张图是64*64*3，所以第一张图的维度是12288，但是对于第二张图片是1000*1000*3，所以特征向量维度就达到了3million，这对于计算机来说计算压力很大。假设第一层隐藏层有1000个神经元，则经过计算权重矩阵的维度是（1000，3million），需要训练的参数很多，从而为了防止过拟合你就需要采用更多的数据训练，卷积网络可以减少参数的数量，主要从两方面考虑，一个是参数共享，另一个是稀疏连接，如下图：

如果采用普通的神经网络，假设输入图片的维度是32*32*3，输出图片的维度是28*28*6，则其中的权重个数是3072*4704，权重个数过多，训练参数过多；如果采用卷积神经网络，从32*32*3转成28*28*6中间的过滤器是f=5，个数是6个，则总共的参数个数是（5*5*3+1)*6=456个参数，输入图片的每一块均用了相同的滤波器参数，参数个数大大减小，可以大大减少训练集的数量，减缓了训练压力，另外一个参数减少的思想是稀疏连接，输出矩阵的某一个像素只与输入矩阵的某