ResNet/ResNet-I3D/ResNet-I3D-SlowFast 源码阅读

16 篇文章 1 订阅


0. 前言

  • 目标:
    • 更好的理解2D/I3D/SlowFast模型。
    • 为了实现MobileNet/ShuffleNet等2D轻量化网络的3D版本,要仔细研究、借鉴ResNet版的代码。
  • 源码来源 mmaction
  • 没什么营养的流水账

1. ResNet50-2D

  • 后面几个结构也都是基于最原始的ResNet结构。
  • 总体结构分为五个部分,STEM+4个stage。
  • STEM结构:没啥好说的
    • 就是普通的conv-bn-relu+maxpooling结构。
    • 卷基层:kernel size为7,stride为2,output channels为64,padding为3。
    • max pooling层:kernel size为3,stride为2,padding为1。
  • Stage结构
    • 每个stage是若干个block的叠加,block在后面介绍。
    • 每个stage都有对应的stride、inplanes(输入channels数量)、planes(expansion前的channels数量)。
  • Block细节
    • block有两种:BasicBlock和Bottleneck。
    • BasicBlock:
      • 分支是 conv3*3+bn+relu+conv3*3+bn,channels变化是 inplanes -> planes -> planes。
      • 如果stride为2,或in/out channels数量不一样时,skip需要通过卷积等downsample操作。
      • 分支结果与skip累加,以及relu后,得到block结果。
    • Bottleneck
      • 分支是 conv1*1+bn+relu+conv3*3+bn+relu+conv1*1+bn,channels变化是 inplanes -> planes -> planes -> 4*planes。
      • 如果stride为2,或in/out channels数量不一样时,skip需要通过卷积等downsample操作。
      • 分支结果与skip累加,以及relu后,得到block结果。
    • 由于stride以及stage间channels数量的变化,每个stage的第一个block都需要改变feature map的特征图(通过downsample完成,一般由卷积操作实现)。
    • 每个stage除第一个block外的其他block一般都没有downsample操作。

2. ResNet-I3D

  • 在ResNet-2D版代码的基础上进行一些改变
  • 总体arch的结构相同与ResNet50-2D相同
    • 总而言之:channels变化完全相同,卷积/BN/Relu的数量相同,排列方式相同。
    • 分为stem+4stages
    • 每个stage也是由多个block组成,且block的类型、数量都相同
    • block类型也是BasicBlock和Bottleneck
    • 每类block的基本形式也相同
  • 不同之处
    • 所有2D卷积全部改为3D卷积,多了一维时间维度。
    • 所有2D BN改为3D BN。
  • 3D卷积的kernel size与stride
    • STEM中的变化
      • 卷积从原先的3x3/stride(2,2)改为5x3x3/stride(2,2,2)
      • max pooling从原先的3x3/stride(2,2)改为1x3x3/stride(2,2,2)
    • stage总体变化:
      • 原本四个stage的stride(都是空间)是(1,2,2,2),现在分为时间、空间两个维度,时间上stride为(1,1,1,1),空间上维度与之前相同,为(1,2,2,2)。
      • inflate相关
        • 本质就是 temporal 维度上kernel size的变化,stride都是1。
        • 所谓的 inflate 翻译应该就是膨胀的意思,好像是通过2D卷积实现类似3D卷积的功能(但看源码好像不是这个意思,具体看下面的实现)。
        • 换句话说,在inflate模式下,一次3x3x3的卷积需要转换为3x1x1+1x3x3两个卷积实现。
        • 参数包括inflate_freqinflate_stype,前者是每个block都有对应的参数(判断当前block是否需要进行inflate操作),后者表示inflate类型。
      • inflate的具体实现:
        • 对于BasicBlock有两种模式:inflate模式与非inflate模式
          • inflate模式下第两个卷积都使用3x3x3的卷积核。
          • 非inflate模式下,两个卷积都使用1x3x3的卷积核。
        • 对于Bottleneck有三种模式:非inflate模式,inflate 3x1x1模式,inflate 3x3x3 模式
          • 非inflate模式:1x1x1+1x3x3+1x1x1
          • inflate 3x1x1模式(最常用):3x1x1+1x3x3+1x1x1
          • inflate 3x3x3模式:1x1x1+3x3x3+1x1x1

3. ResNet-I3D-SlowFast

  • 在ResNet-I3D的基础上进行一些改变,可以看成是两个I3D模型的叠加(分别称为Slow分支与Fast分支)。

  • 相同之处:对于某一个分支,其本质就是一个I3D模型。

  • 不同之处:

    • 有两个分支
    • 在分支的某些地方会对特征进行融合。
  • Slow分支

    • 输入帧率通过 tau 参数控制,帧率间隔为 tau 。
    • 包含了 lateral 相关信息,输入参数alpha/beta_inv都是 lateral 相关信息,后面单独介绍。
    • STEM的时间维度相关的kernel size与stride都是1。
    • 4 stages中spatial stride都分别是(1,2,2,2),每个stage中不同block对应的inflate参数都相同,四个stage的 inflate freq为(0,0,1,1),都是3x1x1形式的。
    • 总体channels数量也与普通I3D相同。
  • Fast分支

    • 输入帧率通过 tau 和 alpha 控制,帧率间隔为 tau/alpha
    • 不用处理 lateral 相关信息。
    • STEM的时间维度相关的conv kernel size为5,pool size以及stride都是1。
    • 4 stages中spatial stride都分别是(1,2,2,2),每个stage中不同block对应的inflate参数都相同,四个stage的 inflate freq为(1,1,1,1),都是3x1x1形式的。
    • channels数量是Slow分支的 1 8 \frac{1}{8} 81(通过 beta inv 参数控制)
  • Lateral 分支

    • 作用:融合slow与fast分支。
    • 前提:slow与fast除了channel数量外,其他结构基本都是相同的
    • 基本做法就是将fast分支中某个位置的特征经过3D卷积转换,然后与同一层的slow分支进行concat操作,concat后结果作为slow分支的输出。
    • 3D卷积的实现细节:kernel size为 (5,1,1), stride为 (alpha,1,1),padding为(2,0,0),channel数量x2。
  • 3
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值