卷积层的参数和神经元个数计算

假设:

当前卷积层的输入是:6x6x3

卷积层参数是:卷积核大小 3x3 ;stride=1, padding=0; 卷积核个数就是3;

那么卷积层的输出就是:(W -F +2*P)/ S + 1 =(6 - 3 + 2*0)/ 1 + 1 = 4,数据就是 4x4x3

那么问题就是:卷积层的参数是多少?

首先分析卷积操作的过程:

输入是3个通道的6x6,输出的是3个4x4的feature map。

每一个3x3的卷积核,在输入的6x6x3上滑动卷积。卷积核的每一次滑动,实质上的操作就是选取它所覆盖的元素(先不同通道的同位置元素相加),输入到一个神经元(神经元就是一个线性方程f(x) +bias,卷积核参数就是线性方程的权值参数),卷积核选取的元素与神经元参数,即卷积核参数进行点乘求和,这就完成了一次滑动卷积,得到了输出的feature map中的一个元素。

不同的卷积核卷积得到代表不同特征的feature map。

也就是说,输出的feature map中的每一个元素都对应一个神经元的输出一个卷积的参数被生成feature map的所对应的所有神经元共享。输出有3个feature map,每个feature map有4x4 =16个神经元,所以这个卷积层有16x3=48个神经元。

对于卷积的参数个数的话,每一个feature map都是共享对应的卷积核的参数的。卷积核的参数是:3x3 + 1 =10。共3个卷积核,所以卷积核参数就是:3 x 10 =30个参数。

综上:卷积核才是代表卷积过程中,参数/权值矩阵,因为同一个输出的feature map中的神经元权值共享的原因,神经元个数不等于参数个数,中间差了feature map大小的倍数。

1、提取一下神经元个数计算公式就是:输出feature map * 卷积核个数。

2、如果计算卷积层的全连接个数,就是(卷积核H * 卷积核W + 1偏置) * 神经元个数

3、卷积层参数计算公式: (卷积核H * 卷积核W + 1) * 卷积核个数 

  • 9
    点赞
  • 45
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
LeNet是经典的卷积神经网络,包含两个卷积层和三个全连接层。下面分别计算LeNet每一层的输出特征map的维度、神经元个数参数个数以及连接的个数。 假设输入图像的大小为32x32,且使用的卷积核大小均为5x5,池化层的大小为2x2。 第一层卷积层: - 输出特征map的维度:28x28(每个像素点通过5x5的卷积核后会减小4) - 神经元个数:28x28x6=4,704 - 参数个数:(5x5+1)x6=156(6个卷积核,每个卷积核有5x5个权重和一个偏置项) - 连接的个数:(5x5+1)x6x28x28=122,304(每个像素点与6个卷积核的5x5个权重和一个偏置项相连) 第一层池化层: - 输出特征map的维度:14x14 - 神经元个数:14x14x6=1,176 - 参数个数:0 - 连接的个数:0 第二层卷积层: - 输出特征map的维度:10x10(每个像素点通过5x5的卷积核后会减小4) - 神经元个数:10x10x16=1,600 - 参数个数:(5x5x6+1)x16=2,416(16个卷积核,每个卷积核有5x5x6个权重和一个偏置项) - 连接的个数:(5x5x6+1)x16x10x10=400,000(每个像素点与16个卷积核的5x5x6个权重和一个偏置项相连) 第二层池化层: - 输出特征map的维度:5x5 - 神经元个数:5x5x16=400 - 参数个数:0 - 连接的个数:0 第一层全连接层: - 输出特征map的维度:120 - 神经元个数:120 - 参数个数:(5x5x16+1)x120=48,120(将第二层池化层的16个5x5特征图展开为一维向量,共有16x5x5个元素) - 连接的个数:(5x5x16+1)x120=481,20(第二层池化层的每个5x5特征图中的每个像素点都与第一层全连接层的120个神经元相连) 第二层全连接层: - 输出特征map的维度:84 - 神经元个数:84 - 参数个数:(120+1)x84=10,164 - 连接的个数:(120+1)x84=10,164 输出层: - 输出特征map的维度:10(LeNet用于手写数字识别,因此输出层有10个神经元对应10个数字分类) - 神经元个数:10 - 参数个数:(84+1)x10=850 - 连接的个数:(84+1)x10=850 总参数个数:156+2,416+48,120+10,164+850=61,706 总连接个数:122,304+400,000+481,200+10,164+850=1,014,518 注:以上计算忽略了偏置项的影响。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值