图像是由一个个像素点构成,每个像素点有三个通道,分别代表RGB颜色,那么,如果一个图像的尺寸是(28,28,1),即代表这个图像的是一个长宽均为28,channel为1的图像(channel也叫depth,此处1代表灰色图像)。如果使用全连接的网络结构,即,网络中的神经与与相邻层上的每个神经元均连接,那就意味着我们的网络有28 * 28 =784个神经元,hidden层采用了15个神经元,那么简单计算一下,我们需要的参数个数(w和b)就有:784*15*10+15+10=117625个,这个参数太多了,随便进行一次反向传播计算量都是巨大的,从计算资源和调参的角度都不建议用传统的神经网络。(评论中有同学对这个参数计算不太理解,我简单说一下:图片是由像素点组成的,用矩阵表示的,28*28的矩阵,肯定是没法直接放到神经元里的,我们得把它“拍平”,变成一个28*28=784 的一列向量,这一列向量和隐含层的15个神经元连接,就有784*15=11760个权重w,隐含层和最后的输出层的10个神经元连接,就有11760*10=117600个权重w,再加上隐含层的偏置项15个和输出层的偏置项10个,就是:117625个参数了)
在一般的CNN模型中,为了克服卷积过程的减少,卷积层中超参数的确定非常关键。这主要涉及3个超参数:深度、步长(stride)与填充(padding)。CNN步长卷积计算公式和strided convolution_vinco的博客-CSDN博客_卷积计算公式
CNN基础知识——卷积(Convolution)、填充(Padding)、步长(Stride) - 知乎
卷积层和池化层的理解:
cnn的卷积层和池化层_xiong_hui的专栏-CSDN博客_cnn卷积层和池化层
reference: