EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (2019)论文笔记

最新推荐文章于 2023-06-24 11:13:32 发布
最新推荐文章于 2023-06-24 11:13:32 发布
阅读量575 收藏
点赞数
分类专栏： 读论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41732520/article/details/91470327
版权
EfficientNet论文探讨了在有限计算资源下，如何通过结合增加深度、宽度和图像分辨率（compound scaling method）来优化模型性能。这种方法在保持高效的同时，提升了模型准确率，例如在ImageNet上实现了84.4% top-1和97.1% top-5的准确率，同时减少了8.4x的参数量和6.1x的计算速度。相比传统仅改变单一维度的规模调整，复合缩放能更有效地提升模型效果。
摘要由CSDN通过智能技术生成

论文链接: EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks.
代码链接: tensorflow.

摘要

简介

加深扩大神经网络(model scaling up)可以有效提升模型的准确率，但是计算资源是有限的。本文讨论了在有限的运算资源下，通过增加深度（网络层数）、增加宽度（每层通道数）、增加图像分辨率三种网络扩张方式的叠加来达到最优准确率。该方法称为compound scaling method。该拓宽网络的方法附加于现有的state of art级网络可以有效提高准确率。基于GPipe的EfficientNet-B7在ImageNet达到了84.4% top-1 / 97.1% top-5的准确率，并且比现有的卷积网络小8.4x，快6.1x。EfficientNet家族在其他数据集上也达到了state of art的结果，CIFAR-100 (91.7%), Flowers (98.8%)等。

传统Scaling up的方法

Model Scaling
传统的model scaling只改变网络的某一个部分的大小。如Figure 2中的b、c、d分别拓宽了网络的宽度、深度、分辨率。这三种方法在一定范围内都可以有效提高模型准确率。但是scale up到一定程度后，模型的准确率很难再继续增长了，如Figure 3。
Scaling up a model with one coefficient
三种方法分别存在的问题

  • 增加深度(depth): 梯度消失
  • 增加宽度(width): 在较浅的网络中难以抓取一些高阶特征
  • 增加分辨率(resolution): 准确率增长减缓

于是，论文提出了复合使用三种scaling的方法来进一步提升准确率。

Compound Scaling方法

depth、width、resolution分别增长如下
d e p t h ( d ) = α ϕ depth(d) = \alpha^{\phi} depth(d)=α

最低0.47元/天 解锁文章
qq_41732520
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【论文解读】EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
qq_40653311的博客
06-04 4842
【论文解读】EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks1.介绍2.复合模型扩展 论文链接： https://arxiv.org/pdf/1905.11946.pdf 官方源码： https://github.com/tensorflow/tpu/tree/master/models/officia...
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
03-18
论文全文：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks EfficientNet：对卷积神经网络的模型缩放的重新思考
EfficientNet网络简介
FPGA/MATLAB学习教程/源码/项目合作开发
03-25 1万+
都有使用，直觉上更深的网络可以捕获到更丰富和更复杂的特征，在新任务上也可以泛化的更好。这是一种穷举搜索方法，可以在固定资源的限定下，列出所有参数之间的关系，显示出改变某一种维度时，基线网络模型会受到什么样的影响。综合考虑所有情况之后，他们确定了每个维度最合适的调整系数，然后将它们一同应用到基线网络中，对每个维度都进行适当的缩放，并且确保其符合目标模型的大小和计算预算。）为核心的机器学习模型时，我们通常会先使用固定的资源成本，构建最初的模型，然后增加更多资源（层数）扩展模型，获得更高的准确率。
EfficientNet系列(1): EfficientNetV2网络详解
@bangbang的博客
07-16 1万+
这篇论文是Google在2019年发表的文章。EfficientNet这篇论文，作者同时关于输入分辨率，网络深度，宽度对准确率的影响，在之前的文章中是单独增加图像分辨率或增加网络深度或单独增加网络的宽度，来试着提升网络的准确率。在EfficientNet这篇论文中，作者使用了网络搜索技术NAS去同时探索输入分辨率，网络深度、宽度的影响。EfficientNet的效果究竟如何呢?这幅图是原论文作者给出的关于Efficient以及当时主流的一系列分类网络的Top-1的准确率，我们发现。84.3%倍。...
EfficientNet网络详解
热门推荐
霹雳吧啦Wz
03-06 11万+
目录前言论文思想网络详细结构MBConv结构EfficientNet(B0-B7)参数 前言 原论文名称：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 论文下载地址：https://arxiv.org/abs/1905.11946 原论文提供代码：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet 自己使用Pyt
EfficientNet介绍
qq128252的博客
12-24 2万+
这里写目录标题卷积神经网络精度提升的经验EfficientNet特点三级目录 卷积神经网络精度提升的经验 网络深度的增加，典型的如resnet,就是通过残差网络的堆叠，增加网络层数，以此来提升精度。 网络宽度的增加，通过增加每层网络的特征层数，提取更多的特征，以此来提升精度。 图像分辨率的增加，分辨率越高的图像，所能获取的信息越多，网络能够学习到更多的特征，从而提升精度。 EfficientNet特点 历史的研究表面，对于卷积神经网络的提升，着重点在于网络深度，网络宽度，分辨率这三个维度。因此，effi
论文阅读Train Large, Then Compress: Rethinking Model Size for Effici
03-25
论文阅读时记录的内容和思考
03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model S
最新发布
03-25
在阅读论文03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model Size for Effcient Trainning and Inference of Transformers，的结构按照金字塔原理进行整理
EfficientNets_ddl_apex:ImageNet上EfficientNet-B0的Pytorch实现
03-09
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks.的PyTorch实现EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. 在ImageNet上 基于Official TF Repo和其他...
【轻量化网络系列（6）】EfficientNetV1论文超详细解读（翻译 ＋学习笔记+代码实现）
路人贾的博客
06-08 6616
EfficientNetv1论文《EfficientNet:Rethinking Model Scaling for Convolutional Neural Networks》翻译+超详细精读，含代码复现
EfficientNet网络详解并使用pytorch搭建模型
STATEABC的博客
05-04 4844
1.EfficientNet网络设计思想 在原论文中，作者通过网络搜索技术同时探索输入分辨率，网络的深度depth、channel的宽度width对准确率的影响，构建EfficientNet网络。 根据以往的经验，增加网络的深度depth能够得到更加丰富、复杂的特征，但网络的深度过深会面临梯度消失，训练困难的问题。 增加网络的width能够获得更高细粒度的特征并且也更容易训练，但对于width很大而深度较浅的网络往往很难学习到更深层次的特征。 增加输入网络的图像分辨率能够潜在得获得更高细粒度的特征模板，但对
【小白学PyTorch】13 EfficientNet详解及PyTorch实现
忽逢桃林的博客
09-25 7339
参考目录： 文章目录1 EfficientNet1.1 概述1.2 把扩展问题用数学来描述1.3 实验内容1.4 compound scaling method1.5 EfficientNet的基线模型2 PyTorch实现 文章来自微信公众号【机器学习炼丹术】。我是炼丹兄，如果有疑问或者想要和炼丹兄交流的可以加微信：cyx645016617. efficientNet的论文原文链接: https://arxiv.org/pdf/1905.11946.pdf 模型扩展Model scaling一直以来都是提
[ICML19]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
gdtop的个人笔记
06-09 8168
个人觉得idea很不错，中心思想是直接对整体架构进行scale以达到减少参数的目的，也是Quoc V. Le刚发表在ICML19的文章，并且在Imagenet达到了最新的state-of-art级别的work。pytorch版本 Abstract 卷积神经网络(ConvNets)通常是在固定的资源预算下开发的，如果有更多的资源可用，则会进行扩展以获得更高的精度。在本文中，我们系统地研究了模型缩...
Efficientnet网络详解及构建
qq_52053775的博客
05-21 6594
1.EffificientNet的基线网络 2.MBConv结构 如图所示，1*1的卷积用于升维，将输入通道数变为filters_in * expand_ratio,Depwise Conv是深度可分离卷积，SE是Squeeze-and-Excitation模块，是Luong注意力机制在图像中的应用，下面1*1的卷积用于降维，将维度调整为filters_out，最后是Dropout层，减少过拟合。 2.1 深度可分离卷积 对于5x5x3的输入，如果想要得到3x3x4的f...
第十二章 EfficientNetv2网络详解
ADICDFHL的博客
06-24 2439
1.本文介绍了EfficientNetV2，这是一种比以前的模型具有更快的训练速度和更好参数效率的卷积网络。2.本研究的背景是为了开发一种具有更好训练速度和参数效率的卷积网络。3.本文的主要论点是EfficientNetV2可以比以前的模型更快地训练，同时更小巧。4.过去的研究方法主要是使用神经架构搜索和缩放来寻找更优秀的模型，但是这些方法效率低下且耗时较长。5.本文提出了一种结合神经架构搜索和缩放的训练方法来开发EfficientNetV2.
EfficientNet详解
Q1u1NG的博客
05-24 9810
EfficientNetsEfficientNetsNAS（neural architecture search）Single ScalingCompound Scaling EfficientNets EfficientNets是google在2019年5月发表的一个网络系列，使用神经架构搜索设计了一个baseline网络，并且将模型放大获得一系列模型。它的精度和效率比之前所有的卷积网络都好。尤其是EfficientNet-B7在ImageNet上获得了最先进的 84.4%的top-1精度 和 97.1%
efficientnet: rethinking model scaling for convolutional neural networks
03-16
EfficientNet是一种新型的卷积神经网络模型，它重新思考了模型缩放的问题。它通过使用复合缩放方法，即同时缩放深度、宽度和分辨率，来提高模型的效率和准确性。这种方法可以在不增加计算成本的情况下，显著提高模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值