Convnext总结

ConvNext

• ConvneXt综述:

  • 基于Resnet50结构，参考swin-T的技巧与思想把resnet50改造成Convnext结构。

• 宏观设计

  1. 将[3,4,6,3]的block结构改成了[3,3,9,3]
  2. 底层的卷积替换成了44stride=4的卷积,类似于patch
  3. 引入depth-wise-conv，channel从64—→96
  4. 引入bottleneck结构channel为96，384，96，增大卷积核为7
  5. Imagenet1K，78.8%——>80.6%

• 微观设计

  1. Relu替换成Gelu，BN替换成LN
  2. 引入更少的激活函数和归一化层
  3. 采用2*2，stride=2卷积进行下采样，并在底层、下采样之前和最后的平均池化之后加入LN，使训练更加稳定
  4. Imagenet1K，82%