一张图理解卷积层的参数共享

全连接层缺点是参数很多,卷积层可以减少参数,减少计算量,因为卷积层的参数共享特性。


在学习了点击打开链接

以后,继续看下图:


学习了点击打开链接

知道,小盆友1视野很小,每个感受野对应一些参数,假设为w1w2w3w4,每滑动一次,另一个感受野又对应四个w,因为每个小朋友都有自己处事原则(不管看什么,参数不变),所以一个小盆友只要学习四个参数。一幅图只要4*5=20个参数


开个玩笑,如果小盆友都很善变,每次看东西方式都变,会有height_col*width_col*4*5个参数啊!计算量很大

注: int height_col= (height + 2 * pad_h - kernel_h) / stride_h + 1; 

       int width_col = (width + 2 * pad_w - kernel_w) / stride_w + 1;
  • 10
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
当后面两个卷积层参数共享时,可以减少模型的参数数量,并且可以加速模型的训练和推理过程。具体来说,可以将第二个卷积层的输出作为第三个卷积层的输入,并且两个卷积层卷积核大小和步长都相同。这样,在第二个卷积层中学习到的特征可以被第三个卷积层共享,从而减少了模型中的参数数量。 假设第一层卷积层的输入是 $x$,卷积核大小为 $k_1 \times k_1$,步长为 $s_1$,输出特征的大小为 $h_1 \times w_1 \times c_1$。第二层卷积层卷积核大小为 $k_2 \times k_2$,步长为 $s_2$,输出特征的大小为 $h_2 \times w_2 \times c_2$。第三层卷积层卷积核大小为 $k_2 \times k_2$,步长为 $s_2$,输出特征的大小为 $h_3 \times w_3 \times c_3$。其中,$k_2 = k_3$,$s_2 = s_3$,$c_1 = c_2$。 在第二个卷积层中,假设卷积核的数量为 $n$,则每个卷积核的大小为 $k_2 \times k_2 \times c_1$,输出特征的大小为 $(h_1 - k_1)/s_1 + 1 - k_2)/s_2 + 1) \times (w_1 - k_1)/s_1 + 1 - k_2)/s_2 + 1) \times n$。在第三个卷积层中,由于参数共享,每个卷积核的大小仍然为 $k_2 \times k_2 \times c_1$,输出特征的大小为 $(h_1 - k_1)/s_1 + 1 - k_2)/s_2 + 1) \times (w_1 - k_1)/s_1 + 1 - k_2)/s_2 + 1) \times n$,即与第二个卷积层的输出特征大小相同。 因此,当后面两个卷积层参数共享时,可以减少模型中的参数数量,而且第三个卷积层的输出特征大小与第二个卷积层的输出特征大小相同。这样可以加速模型的训练和推理过程,同时还可以提高模型的泛化能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值