ConvNext详解

1.ConvNext v1

        Transformer在视觉领域大放异彩？以后卷积怎么办呢？facebook 的研究人员就探究了这样一个问题。首先，SwinTransformer采用分层和窗口的设计，取得了非常好的性能。这说明卷积这种窗口的设计也是有用的，因此，研究人员通过对比卷积和Transformer的体系结构，设计了ConvNext。

        

（1）提升感受野，使用更大的卷积核（3*3-->7*7），但是更大的卷积核带来了更多的运算量，这就需要使用1*1的卷积调整通道和分组卷积了。

（2）将ReLU替换为GeLU,并设计了一个类似于Transformer的FFN层的结构，即在两层1*1的卷积中间使用激活函数

（3）归一化由BN变为LN，并类似于Transformer，使用更少的归一化层。

（4）降采样层：类似于Swin Transformer，使用2*2的卷积，stride为2，并使用LN稳定训练。

 2.ConvNext v2

（1）问题：

• 将ConvNext直接应用于自监督学习框架MAE中性能不佳，基于此，这篇论文设计了全卷积的MAE
• 模型中特征崩溃现象：有许多死亡或饱和的特征图，激活在通道之间变得冗余。作者引入GRU解决这个问题

（2）全卷积的MAE

        

框架概述：MAE的自监督框架是，首先对图像进行随机的掩蔽，然后使用神经网络尝试重构掩蔽部分，并与原图进行对比，计算损失。

掩蔽策略： 掩蔽比例在0.6

编码器设计：在Transformer中，我们只需要使用mask就能够防止Transformer对掩蔽部分进行建模。而在卷积中，由于卷积核在整个图像上平移并计算特征。需要采取策略有效阻止卷积从掩蔽部分提取特征。为了解决这个问题，论文提出以稀疏数据的角度看待掩蔽图像。引入3D点云的稀疏卷积。

解码器设计：使用一个ConvNeXt 作为解码器

（3）GRU

        

        对特征图进行可视化发现，ConvNext v1存在特征崩溃现象：有许多死亡或饱和的特征图，激活在通道之间变得冗余。

GRU包含3个部分：

• 全局特征聚合（可以看做一种全局池化）

•  特征归一化

• 特征校准：引入权重和偏置项进行平滑，并使用残差设计

代码实现特别简单：

当应用GRN时，LayerScale就变得不必要了，并且可以被删除。