EfficientNetV2: Smaller Models and Faster Training学习

AlphaFinance

已于 2023-05-20 20:40:04 修改

阅读量636

点赞数 1

分类专栏：多媒体AI技术文章标签：学习深度学习神经网络

于 2023-05-20 18:46:51 首次发布

本文链接：https://blog.csdn.net/dragon_T1985/article/details/130784495

版权

多媒体AI技术专栏收录该内容

26 篇文章 15 订阅 ¥119.90 ¥299.90

订阅专栏

超级会员免费看

EfficientNetV2是一系列新的卷积神经网络，训练速度比现有模型快4倍，参数效率更高。通过训练感知的神经架构搜索和缩放，以及改进的渐进学习方法，实现了在不牺牲准确性的情况下加速训练。该模型在ImageNet上达到87.3%的Top-1准确率，同时训练速度提高5-11倍，参数数量减少最多6.8倍。

摘要由CSDN通过智能技术生成

摘要

本文介绍了EfficientNetV2，这是一系列新的卷积神经网络，其训练速度更快，参数效率也比先前的模型更好。为了开发这些模型，我们使用了一种结合了训练感知神经架构搜索和缩放的方法，以共同优化训练速度和参数效率。这些模型是从增加了新操作（例如融合-MBConv）的搜索空间中搜索得到的。我们的实验证明，EfficientNetV2模型的训练速度比最先进的模型快得多，同时模型尺寸可减小多达6.8倍。

我们的训练可以通过在训练过程中逐渐增加图像尺寸来进一步加快速度，但这往往会导致准确性下降。为了弥补这种准确性下降，我们提出了一种改进的渐进学习方法，它能够自适应地调整正则化（例如数据增强）以及图像尺寸。

通过渐进学习，我们的EfficientNetV2在ImageNet和CIFAR/Cars/Flowers数据集上显著优于之前的模型。通过在相同的ImageNet21k上进行预训练，我们的EfficientNetV2在ImageNet ILSVRC2012上实现了87.3%的Top-1准确率，比最近的ViT模型高出2.0%的准确率，同时使用相同的计算资源训练速度提高了5倍至11倍。代码可在https://github.com/google/automl/tree/master/efficientnetv2上获取。