EfficientNet V2

最新推荐文章于 2024-01-24 11:55:13 发布
最新推荐文章于 2024-01-24 11:55:13 发布
阅读量520 收藏
点赞数
分类专栏： 图像分类 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44886601/article/details/130025205
版权

目录

1. EfficientNet V1存在的问题

2. EfficientNet V2 的亮点

3. EfficientNet V2 网络架构

1. EfficientNet V1存在的问题

针对EfficientNet V1 ，作者提出了以下的三个缺点

当训练图像的size很大时，网络中传递的特征图尺寸就会很大，这样训练就会慢得多。当降低了图像的尺寸，可以使用更大的batch size，这对于BN层来说是更好的

 浅层的dw卷积速度很慢，这里采用Fuse-MBConv卷积

超参数按照相同的比例，改变网络深度或者宽度效果不是那么好

 

2. EfficientNet V2 的亮点

个人觉得最重要的是渐进的学习方法吧，根据体系的尺寸动态的正则化

 

对于不同的图像大小保持相同的正则化并不理想:对于相同的网络，较小的图像大小导致较小的网络容量，因此需要弱正则化;反之亦然，较大的图像尺寸需要更强的正则化来对抗过拟合。


我们提出了一种改进的渐进式学习方法:在早期训练阶段，我们用小图像大小和弱正则化(例如，dropout和数据增强)训练网络，然后我们逐渐增加图像大小并添加更强的正则化。建立在逐步调整大小的基础上,但通过动态调整正则化，我们的方法可以在不导致准确性下降的情况下加速训练。

 

3. EfficientNet V2 网络架构

 

 

听风吹等浪起
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
EfficientNetV2详解
wr319714471的博客
06-27 1083
正向传播过程中将输入通过了一个一个block，这里每个block都可以认为是残差结构（主分支上通过f得到输出，捷径分支就是输入直接引到输出），会以一定的概率对主分支上的输出进行丢弃（整个主分支丢弃），也就相当于没有这一层，也就相当于网络是一个随机的深度了，存活概率是从1到0.5。trans_size 是300，是指训练过程中最大训练尺寸（但是由于采用了渐进式的学习策略，所以他的训练尺寸是会变的，最大不会超过300）扩展因子等于1和不等于1的结构是不同的（等于1时不需要扩展，所以就少了一个卷积层）
EfficientNetV2网络详解
热门推荐
霹雳吧啦Wz
05-18 6万+
文章目录EfficientNetv1中存在的问题EfficientNetv2中做出的贡献NAS 搜索EfficientNetv2网络框架 EfficientNetv1中存在的问题 作者系统性的研究了EfficientNet的训练过程，并总结出了三个问题： 训练图像的尺寸很大时，训练速度非常慢。 这确实是个槽点，在之前使用EfficientNet时发现当使用到B3（img_size=300x300）- B7（img_size=600）时基本训练不动，而且非常吃显存。通过下表可以看到，在Tesla V100上
图像分类】【深度学习】【轻量级网络】【Pytorch版本】EfficientNet_V2模型算法详解
最新发布
yangyu0515的博客
01-24 2229
图像分类】【深度学习】【轻量级网络】【Pytorch版本】EfficientNet_V2模型算法详解
第十二章 EfficientNetv2网络详解
ADICDFHL的博客
06-24 2080
1.本文介绍了EfficientNetV2，这是一种比以前的模型具有更快的训练速度和更好参数效率的卷积网络。2.本研究的背景是为了开发一种具有更好训练速度和参数效率的卷积网络。3.本文的主要论点是EfficientNetV2可以比以前的模型更快地训练，同时更小巧。4.过去的研究方法主要是使用神经架构搜索和缩放来寻找更优秀的模型，但是这些方法效率低下且耗时较长。5.本文提出了一种结合神经架构搜索和缩放的训练方法来开发EfficientNetV2.
Pytorch之EfficientNetV2图像分类
风间琉璃的博客
10-09 1839
Google 在2021年4月份提出了 EfficientNet 的改进版 EfficientNet v2: Smaller Models and Faster Training。从论文题目上就可以看出 v2 版本相比 v1，模型参数量更小，训练速度更快。在 EfficientNet V1的基础上，引入了到搜索空间中，同时为渐进式学习引入了自适应正则强度调整机制。两种改进的组合使得 EfficientNet v2 在多个基准数据集上取得了 SOTA 性能，且训练速度更快。
pytorch-image-models:PyTorch图像模型，脚本，预训练权重-ResNet，ResNeXT，EfficientNet，EfficientNetV2，NFNet，视觉转换器，MixNet，MobileNet-V3V2，RegNet，DPN，CSPNet等
05-12
PyTorch图像模型 赞助商 非常感谢我的的支持！... 添加GhostNet模型和权重。 谢 更新ByoaNet注意模型 改进SA模块的初始化 将基于实验的独立Swin attn模块和swinnet 实验的一致“ 26t”模型定义。 添加改进的E
EfficientNet-PyTorch:EfficientNet和EfficientNetV2的PyTorch实现（即将推出！）
05-10
EfficientNet PyTorch 快速开始 使用pip install efficientnet_pytorch的net_pytorch并使用以下命令加载经过预训练的EfficientNet： from efficientnet_pytorch import EfficientNet model = EfficientNet . from_...
gen-efficientnet-pytorch:预先训练的EfficientNet，EfficientNet-Lite，MixNet，MobileNetV3 V2，MNASNet A1和B1，FBNet，单路径NAS
04-29
EfficientNet，MixNet，MobileNetV3等的“通用”实现涵盖了从MobileNet V1 / V2块序列派生的大多数计算/参数有效架构，包括那些通过自动神经架构搜索找到的架构。 所有模型均由GenEfficientNet或MobileNetV3类实现...
inception_v2预训练模型
09-24
当神经网络具有许多参数时，它们的效果最佳，这使它们成为功能强大的函数逼近器。但是，这意味着必须对非常大的数据集进行训练。由于从头开始训练模型可能是一个非常耗费计算量的过程，需要几天甚至几周的时间，因此...
Keras_efficientnet_v2_test:自定义的efficiencynetV2，不是官方的，仅体系结构
04-09
Keras_ficientnet_v2_test 使用Tensorflow keras创建一个EfficientNetV2模型，如定义的那样。 遵循。 这不是正式的实现，并且由于尚未发布，因此我不确定这种体系结构。 仅架构，尚未在imagenet上进行过培训。
【深度学习】(6) EfficientNetV2 代码复现，网络解析，附pytorch完整代码
博观而约取，厚积而薄发
12-17 4333
EfficientNetV2 网络主要采用神经结构搜索技术（NAS）结合复合模型扩张方法获得了一组最优的复合系数，自动将网络的深度、宽度和输入图像分辨率三个参数进行合理的配置，提升了网络的性能，在 ImageNetILSVRC2012 的 Top-1 上达到 87.3%的准确率，且 EfficientNetV2 减少了模型的参数量并且进一步提升了模型的训练速度。
EfficientNetV2: Smaller Models and Faster Training学习
AlphaFinance
05-20 582
训练效率对于深度学习非常重要，因为模型规模和训练数据量越来越大。例如，GPT-3（Brown等，2020）拥有更大的模型和更多的训练数据，在少样本学习方面展示了卓越的能力，但它需要数周的训练时间和数千个GPU，这使得重新训练或改进变得困难。"TPU days"指的是使用TPU（Tensor Processing Unit）进行训练所花费的时间，以天为单位进行计量。TPU是由谷歌开发的专用硬件加速器，用于高效地执行深度学习任务。
EfficientNet V2（ICML 2021）原理与代码解析
00000cj的博客
05-17 1502
基于这些观察结果，作者设计了一个包含额外算子ops如Fused-MBConv的搜索空间，并应用训练感知training-aware的NAS和缩放scaling来联合优化模型精度、训练速度和参数大小。最终搜索到的网络即为EfficientNetV2。 此外，本文还提出了一种改进的渐进式训练progressive learning方法：在训练的早期用较小的输入和较弱的正则化，随着训练的进行，逐渐增大输入分辨率和正则化的强度。基于这种训练方法，可以加快训练速度而不会导致准确率下降。
深度学习之图像分类（十六）-- EfficientNetV2 网络结构
木卯_THU的博客
09-07 1万+
深度学习之图像分类（十六）EfficientNetV1 网络结构 目录深度学习之图像分类（十六）EfficientNetV1 网络结构1. 前言2. 从 EfficientNetV1 到 EfficientNetV23. EfficientNetV2 网络框架4. 渐进式学习策略5. 代码 本节学习 EfficientNetV2 网络结构。学习视频源于 Bilibili，博客参考 EfficientNetV2网络详解。 1. 前言 EfficientNetV2 是 2021 年 4 月发表于 CVPR 的
EfficientNet系列(1): EfficientNetV2网络详解
@bangbang的博客
07-16 1万+
这篇论文是Google在2019年发表的文章。EfficientNet这篇论文，作者同时关于输入分辨率，网络深度，宽度对准确率的影响，在之前的文章中是单独增加图像分辨率或增加网络深度或单独增加网络的宽度，来试着提升网络的准确率。在EfficientNet这篇论文中，作者使用了网络搜索技术NAS去同时探索输入分辨率，网络深度、宽度的影响。EfficientNet的效果究竟如何呢?这幅图是原论文作者给出的关于Efficient以及当时主流的一系列分类网络的Top-1的准确率，我们发现。84.3%倍。...
深度学习网络模型——EfficientNet V2模型详解与代码复现
guoqingru0311的博客
12-05 2272
深度学习网络模型——EfficientNet V2模型详解与代码复现
EfficientNetV2震撼发布！更小的模型，更快的训练
阿木寺的博客
04-03 2111
没有用JFT自家数据，在ImageNet刷到87.3％的top-1精度！训练速度比最先进的模型快得多，并缩小了6.8倍！性能超越ViT、BotNet和ResNeSt等网络，代码即将开源！ 注：Backbone哪家强？先杀一杀Transformer的锐气 注：整理不易，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code ​ EfficientNetV2: Smaller Models and Faster Training 作者单
EfficientNetV2震撼发布！87.3%准确率！模型更小，训练更快！谷歌大脑新作
阿木寺的博客
04-03 3303
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者丨happy 审稿丨邓富城来源丨极市平台导读谷歌在EfficientNet的基础上，引入了Fused-MBCo...
AttributeError: module 'torchvision.models' has no attribute 'efficientnet_v2_s'
07-27
这个错误是因为 torchvision.models 模块中没有 efficientnet_v2_s 这个属性。可能是因为你使用的 torchvision 版本较旧，没有包含这个模型。你可以尝试更新 torchvision 到最新版本，或者查看 torchvision.models ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

听风吹等浪起

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值