EfficientNetV2-学习记录

引入：本次学习内容基本来自于Mingxing Tan ，Quoc V. Le等编写的的《EfficientNetV2: Smaller Models and Faster Training》，以及部分讲解视频，本学习记录仅为个人学习收获，部分内容存在纰漏烦请各位大佬批评指正。
（一）摘要：在EfficientNetV2论文中，作者提出了新的优化训练速度和参数的方法，感知神经结构搜索和缩放方法，并且提出了一种新的渐进式学习方法以自适应调整正则化。并通过一系列实验表明，EfficientNetV2比先前的模型表现的更好。

（二）发表时间：2021

（三）关键词：卷积网络结构优化，自适应正则化，渐进式学习，NAS

（四）学习笔记：

作者对之前的V1版本模型进行了研究，结果表明EfficientNet存在部分缺陷，例如，当图像尺寸过大时，训练速度会变慢，深度卷积层在早期层很慢，同层次的扩展在每个阶段并不算是最优的。因此，它设计了一个搜索空间，其中添加了部分额外操作，例如Fused MBConv，并且应用可训练感知NAS和缩放来优化模型的精度，训练速度和参数。同时提出了一种新的渐进式学习方法，在早期的训练阶段，用较小的图像进行训练以及弱正则化，后期则随着训练的增强，同时增强图像大小并加强正则化。这样即调整了正则化，又不会降低精度。

作者的训练感知NAS主要是基于以前的NAS工作完成了，目的就是为了联合优化精度，参数效率性，以及在现代减速器上进行有效的训练。本文中使用的搜索以EfficientNet作为主干，以每一个阶段作为搜索单元。

而新的EfficientV2的结构新加入了Fused MBConv，如下所示。

同时还有其他的一些不同之处，例如使用了较小的扩展比率，去掉了最后一个步长为1的阶段，更喜欢使用3×3的卷积核，会通过增加卷积来提升感受野。

接下的论文，作者描述了自己验证自己的渐进式学习的过程。相比于之前，不论是进行怎样的训练，都使用固定的正则化。但他的核心观点是：大模型需要强正则化，小模型则相反。