Resnet中扩展因子expansion的作用

今天复现模型的时候  里面用到了resnet18 关于这个expansion的作用 之前没怎么注意过 

今天看了一下 有了新的感受

以resnet18为例子

在ResNet中,每个残差块(如BasicBlock或Bottleneck)都包含一个扩展因子。这个扩展因子的作用是控制残差块内部的卷积层输出通道数相对于输入通道数的比例。

当步幅stride不等于1时,也就是说当前残差块具有下采样(即缩小特征图尺寸)的功能。在这种情况下,为了使快捷连接和主路径上的特征图维度能够对齐,需要通过适当调整扩展因子来确保它们的通道数一致。

(当步幅不为1时,由于卷积操作会缩小特征图尺寸,因此需要通过适当调整扩展因子来确保快捷连接和主路径上的特征图维度对齐,并且使它们的通道数一致,以便进行相加操作。这样可以保证跨层连接的有效性,从而更好地传递梯度和提高模型性能。)

具体地说,假设输入特征图大小为H×W×C(高×宽×通道),经过步幅为2的卷积操作后输出特征图大小将变为H/2×W/2×C_new。此时需要将快捷连接中的通道数从C调整到C_new以与主路径上输出特征图维度一致。这就是更新扩展因子并创建相应卷积层进行调整的原因。

总之,扩展因子在ResNet中用于控制残差块内部卷积层输出通道与输入通道之间的比例关系,并且当出现步幅不为1时需要根据步长变化来进行相应调整以确保主路径和快捷连接能够对齐

  • 12
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值