ConvNeXt-学习记录

引入：本次学习内容基本来自于Zhuang Liu，Hanzi Mao等编写的的《A ConvNet for the 2020s》，以及部分讲解视频，本学习记录仅为个人学习收获，部分内容存在纰漏烦请各位大佬批评指正。
（一）摘要：本文重新审视卷积神经网络，并测试纯ConvNet能够达到的极限。逐步将标准的ResNet向视觉Transformer的设计方向演化，期间发现了几个关键技术，它们对性能差异起到了贡献。这个探索的结果是一系列纯ConvNet模型，被称为ConvNeXt。ConvNeXt完全由标准的ConvNet模块构建，以准确性和可扩展性方面竞争力强于Transformers。

（二）发表时间：2022

（三）关键词：纯卷积神经网络

（四）学习笔记：

自VIT提出开始，越来越多的人开始研究Transformer，而SwinTransformer的出现使其大放异彩，卷积神经网络开始逐渐的退出舞台，而ConvNext的作者发现，作者借鉴SwinTransformer的“丹方”，在卷积神经网络上进行“炼丹”的话，效果比SwinTransformer还要好，完成给卷积神经网络强行续命的任务。

ConvNeXt的整体结构是基于ResNet的结构进行设计的，主要设计思想是来自于SwinTransformer。而设计的最终结果就是呈现出了一个纯卷积神经网络的产物——ConvNeXt。

首先完成的是ResNet的现代化设计，在ResNet的基础上，将训练轮次从90改为300，使用了AdamW优化器，也使用了Mixup，CutMix，RandAugment，Random Erasing等数据增强技术，正则技术则使用了Stochastic Depth，Label Smoothing。其中还有一些超参数和预训练设计。通过这样的方法，将ResNet的准确率从76.1提升到了78.8。作者也将这个模型作为后续工作展开的基础模型。

作者接着完成了block堆叠比例的设计，例如在原始的ResNet中的堆叠次数是（3，3，4，6），换算成比例就是（1：1:2:1）,而SwinTransformer中是（1：1：3：1），因此作者也学着将block的次数比例调整为（1：1：3：1）。

在ResNet中，一般都是通过7×7的卷积，步长为2，接着一个最大值池化层，进行下采样。而SwinTransformer则采用的是一个4×4的卷积，步长为4进行下采样。因此作者也利用了这一点，改进了ResNet，替换后准确率提升到了79.5。

随后作者借鉴了组卷积技术。借鉴的是MobileNet中的depthwise convolution。随后将通道数调整到96，和SwinTransformer保持一致性，准确率上升到了80.5。

接着作者觉得Transformer中最重要的设计就是inverted bottleneck，作者也借鉴了这个设计，同时参考了MobileNetV2中的inverted bottleneck。将ResNet的Bottleneck层设计为小通道-大通道-小通道。准确率提升到了82.6。

SwinTransformer对全局做self-attention时，使用的是7×7的大小窗口，而卷积神经网络中普遍使用的是3×3大小，因为现在的GPU设备对3×3大小的卷积核做了很多优化，因此作者做出了一些改动来提高ResNet的性能。

第一是上移了分离卷积层的位置，原来的depthwise conv在1×1升维降维的中间，现在则出现在最前方，之所以这么做是因为Transformer的MSA的block在MLP层前。

第二个是将分离卷积层的大小改为7×7，和SwinTransformer一样。

对于细节部分，作者将激活函数从RELu更改为GELu，同时，因为Transformer很少使用正则化，激活函数也用的少，因此我们也移除了两个BN层。只留了1×1层前的一个BN层。原来基本每个卷积层或者全连接层后面都会跟一个激活函数，但是为了和Transformer保持步调一致，在ConvNeXt中也减少使用激活函数了。

虽然BN层在卷积神经网络中是很必要，可以有效改善过拟合现象，但是对模型的整体表现会造成不好的影响，所以将BN层改为Layer Normalization（LN），因为Transformer中基本都用的LN层。替换后，发现准确率升高到了81.5。

因为SwinTransformer中有一个ptach merging单独下采样层，因此作者也单独使用了一个下采样层，由一个卷积核大小为2，步长为2的卷积岑构成。准确率因此提升到了82.0（SwinTransformer准确率为81.3）。