《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》【阅读笔记】

关注B站可以观看更多实战教学视频：hallo128的个人空间
Efficientnet论文原文：https://arxiv.org/abs/1905.11946

《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》【阅读笔记】

《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》这篇论文主要介绍了EfficientNet模型，这是一个系统地研究和重新思考卷积神经网络（ConvNets）模型扩展（Scaling）方法的成果。论文通过实证分析发现，单独增加网络的宽度、深度或分辨率虽然可以提升模型精度，但这种提升会逐渐饱和。为了更高效地利用模型扩展，论文提出了复合扩展（Compound Scaling）的方法。

EfficientNet模型的核心点：

模型扩展的维度：

• 宽度（Width）：增加卷积层中通道的数量。
• 深度（Depth）：增加卷积层的数量。
• 分辨率（Resolution）：增加输入图像的分辨率。

复合扩展方法：

论文指出，简单地按照一个维度扩展模型（如仅增加宽度、深度或分辨率）的效果是有限的。因此，作者提出了一种复合扩展方法，同时按照比例调整网络的宽度、深度和分辨率。这种方法可以更有效地利用资源，并获得更好的精度提升。

EfficientNet基线模型：

论文首先通过神经架构搜索（Neural Architecture Search, NAS）找到一个高效的基线模型EfficientNet-B0，然后使用复合扩展方法从B0扩展出B1至B7等多个模型，这些模型在保持高效率的同时，显著提高了精度。

实验结果：

在ImageNet数据集上，EfficientNet模型以更少的参数和FLOPS达到了更高的精度，超越了之前的多个先进模型。
在迁移学习任务上，EfficientNet也表现出了强大的泛化能力，在多个数据集上达到了新的最高水平。