【图像分类】用通俗易懂代码的复现EfficientNetV2，入门的绝佳选择（pytorch）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

摘要

==

上周学习了EfficientNetV2的论文，并对其进行了翻译，如果对论文感兴趣的可以参考我的文章：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/117399085。

在EfficientNets的第一个版本中存在三个缺点：

(1) 用非常大的图像尺寸训练很慢；而且输入较大的图像必须以较小的批大小训练这些模型，这大大减慢了训练速度，但是精度反而下降了。

(2) 在网络浅层中使用Depthwise convolutions速度会很慢。

(3) 每个阶段都按比例放大是次优的。

EfficientNetV2针对这三个方面的缺点做了改进：

1、针对图像的大小的问题，作者提出了自适应正则化的渐进式学习的方法，详见论文的4.2节

2、针对Depthwise convolutions在早期层中很慢的问题，作者提出了 Fused-MBConv 模块来代替部分的MBConv。

3、针对每个阶段都按比例放大是次优的问题，作者使用非均匀缩放策略来逐步添加 到后期阶段。

作者对EfficientNetV2做了三方面的总结

•我们引入了 EfficientNetV2，这是一个新的更小、更快的模型系列。 通过我们的训练感知NAS 和扩展发现，EfficientNetV2 在训练速度和参数效率方面都优于以前的模型。

• 我们提出了一种改进的渐进式学习方法，它可以根据图像大小自适应地调整正则化。 我们表明它可以加快训练速度，同时提高准确性。

• 我们在 ImageNet、CIFAR、Cars 和 Flowers 数据集上展示了比现有技术快 11 倍的训练速度和 6.8 倍的参数效率。

总之，一句话，我们的新模型又快又准而且还小，大家赶快用吧！下面我就讲讲如何使用Pytorch实现EfficientNetV2。

代码实现

====

EfficientNetV2和EfficientNet一样也是一个家族模型，包括：efficientnetv2_s、efficientnetv2_m,、efficientnetv2_l、efficientnetv2_xl。所以我们要实现四个模型。

激活函数

---

激活函数使用SiLU激活函数，我对激活函数做了总结，感兴趣的可以查看：CNN基础——激活函数_AI浩-CSDN博客

SiLU (Swish) activation function

if hasattr(nn, ‘SiLU’):

SiLU = nn.SiLU

else:

For compatibility with old PyTorch versions

class SiLU(nn.Module):

def forward(self, x):

return x * torch.sigmoid(x)

SE模块

---

SE模块，我在前面的文章中已经介绍了。现在直接将SE模块拿过来使用。

class SELayer(nn.Module):

def init(self, inp, oup, reduction=4):

super(SELayer, self).init()

self.avg_pool =