卷积层中的神经元的个数怎么确定

卷积神经网络某个卷积层中的神经元的个数怎么确定

一般的人工神经网络(简称,神经网络)是通过连接多层的神经元对输入的向量进行处理,数据和神经元是全连接的形式,通过样本的训练完成权值的更新,进而达到学习的效果。
而卷积神经网络是有卷积层 激励层 池化层 全连接层组成,首先卷积神经网络的提出是优化一般神经网络的训练效率,我们知道卷积神经网络在卷积层 激励层 池化层都并非全连接状态,所以训练的权值也相对减少,但是卷积神经网络要达到的效果是减少训练参数的数量但是不减少训练样本的质量。

对于卷积神经网络,每一个卷积核代表一种feature map的提取,例如是6x6的input,第一层卷积层由三个卷积核构成,主要是提取原input的三个特征,input与每个卷积核进行内积计算,这里设置stride为1,zero-padding为0,分别生成三个4x4的特征图矩阵。

这里的计算公式是(提取出的特征图中矩阵的维数=[(input的维数-卷积核的维数+2*zero-padding)/stride]+1 )。

这里可以对比一般的神经网络,CNN一个厉害的地方就在于通过感受野(局部连接)和权值共享减少了神经网络需要训练的参数的个数,所谓权值共享就是同一个Feature Map中神经元权值共享,该Feature Map中的所有神经元使用同一个权值。因此参数个数与神经元的个数无关,只与卷积核的大小及Feature Map的个数相关。但是共有多少个连接个数就与神经元的个数相关了,神经元的个数也就是特征图中矩阵的大小,即特征图中元素的个数。一个卷积核是由多个类似于一般神经网络中的神经元与输入特征图(或原始输入)的每个局部特征之间的权值组成的矩阵。特征图中的矩阵元素的个数,即相当于该卷积核对应的神经元个数。例如这里每个卷积核对应的神经元个数是4x4=16个,即每个卷积核就是由16个神经元与输入特征图(或原始输入)的每个局部特征之间的权值组成的矩阵,然后第一层总共有三个卷积核,所以第一层总共有16*3=48个神经元。卷积核是待学参数,跟神经元个数没有关系。神经元的个数是由输出决定的,即该层所有Feature map中总的元素个数决定的,而不是卷积核(权值矩阵)。
————————————————
版权声明:本文为CSDN博主「whr_ws」的原创文章。
原文链接:link

  • 9
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
LeNet是经典的卷积神经网络,包含两个卷积层和三个全连接层。下面分别计算LeNet每一层的输出特征map的维度、神经元个数、参数的个数以及连接的个数。 假设输入图像的大小为32x32,且使用的卷积核大小均为5x5,池化层的大小为2x2。 第一层卷积层: - 输出特征map的维度:28x28(每个像素点通过5x5的卷积核后会减小4) - 神经元个数:28x28x6=4,704 - 参数的个数:(5x5+1)x6=156(6个卷积核,每个卷积核有5x5个权重和一个偏置项) - 连接的个数:(5x5+1)x6x28x28=122,304(每个像素点与6个卷积核的5x5个权重和一个偏置项相连) 第一层池化层: - 输出特征map的维度:14x14 - 神经元个数:14x14x6=1,176 - 参数的个数:0 - 连接的个数:0 第二层卷积层: - 输出特征map的维度:10x10(每个像素点通过5x5的卷积核后会减小4) - 神经元个数:10x10x16=1,600 - 参数的个数:(5x5x6+1)x16=2,416(16个卷积核,每个卷积核有5x5x6个权重和一个偏置项) - 连接的个数:(5x5x6+1)x16x10x10=400,000(每个像素点与16个卷积核的5x5x6个权重和一个偏置项相连) 第二层池化层: - 输出特征map的维度:5x5 - 神经元个数:5x5x16=400 - 参数的个数:0 - 连接的个数:0 第一层全连接层: - 输出特征map的维度:120 - 神经元个数:120 - 参数的个数:(5x5x16+1)x120=48,120(将第二层池化层的16个5x5特征图展开为一维向量,共有16x5x5个元素) - 连接的个数:(5x5x16+1)x120=481,20(第二层池化层的每个5x5特征图的每个像素点都与第一层全连接层的120个神经元相连) 第二层全连接层: - 输出特征map的维度:84 - 神经元个数:84 - 参数的个数:(120+1)x84=10,164 - 连接的个数:(120+1)x84=10,164 输出层: - 输出特征map的维度:10(LeNet用于手写数字识别,因此输出层有10个神经元对应10个数字分类) - 神经元个数:10 - 参数的个数:(84+1)x10=850 - 连接的个数:(84+1)x10=850 总参数个数:156+2,416+48,120+10,164+850=61,706 总连接个数:122,304+400,000+481,200+10,164+850=1,014,518 注:以上计算忽略了偏置项的影响。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值