EfficientNet文章分析的重点提取

最新推荐文章于 2024-12-06 18:31:13 发布
最新推荐文章于 2024-12-06 18:31:13 发布
阅读量737 收藏 2
点赞数 1
分类专栏： 图像分类 深度学习进阶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/txpp520/article/details/106061240
版权
EfficientNet是一种创新的CNN模型缩放方法，通过复合系数统一缩放网络宽度、深度和分辨率，实现更高精度和效率。与传统方法相比，此方法在多个数据集上展现出卓越性能，有望成为未来计算机视觉任务的基础。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

传统增加模型精度的方法：

传统的模型缩放实践是

缺点：

方法:

用一系列 固定尺度 缩放系数来统一缩放网络维度。

步骤：

·注意：

模型扩展的有效性在很大程度上依赖于baseline网络。

参考：

EfficientNet-可能是迄今为止最好的CNN网络 - 知乎

【一看就懂】EfficientNet详解。凭什么EfficientNet号称当今最强？ - 知乎

细品EfficientNet - 知乎

https://arxiv.org/abs/1512.03385

传统增加模型精度的方法：

  1. ResNet[1]可以通过增加层数将 ResNet-18扩展到 ResNet-200
  2. GPipe[2] 通过将 CNN baseline扩展4倍，在 ImageNet[3]上实现了84.3% 的准确率。 

传统的模型缩放实践是

  1. 任意增加 CNN 的深度
  2. 任意增加 CNN 的宽度
  3. 使用更大的输入图像分辨率

缺点：

需要长时间的手动调优，并且仍然会经常产生次优的性能。

 

一篇ICML文章[4]提出了一个更有原则性的方法来扩大 CNN 的规模,从而可以获得更好的准确性和效率。

该论文提出了一种新的模型缩放方法，它使用一个简单而高效的复合系数来以更结构化的方式放大 CNNs。

方法:

用一系列 固定尺度 缩放系数来统一缩放网络维度。

和传统的区别：不像传统的方法那样 任意缩放网络维度，如宽度，深度和分辨率。

 通过使用这种新颖的缩放方法和 AutoML[5] 技术，作者将这种模型称为 EfficientNets ，它具有最高达10倍的效率(更小、更快)。

作者发现：

根据可用资源平衡网络的所有维度ーー宽度、深度和图像分辨率ーー可以最大限度地提高整体性能。

步骤：

第一步：

 网格搜索，找到在固定资源约束下基线网络的不同维度(缩放)之间的关系。(这决定了上面提到的每个维度的适当比例系数。)

然后应用这些系数扩大基线网络，以达到期望的模型大小或资源要求。

与传统的缩放方法相比，  这种复合缩放方法不断提高模型的精度和效率，可用于扩展现有的模型，如 mobileet (+ 1.4% 的图像集精度)和 ResNet (+ 0.7%)。

·注意：

模型扩展的有效性在很大程度上依赖于baseline网络。

 

 

baseline网络：EfficientNet-B0

模型扩展的有效性在很大程度上依赖于baseline网络。为了进一步提高性能，作者还开发了一个新的基线网络，通过使用 AutoML MNAS 框架执行神经结构搜索，优化了准确性和效率。 最终的架构使用移动反向bottleneck卷积(MBConv) ，类似于 mobileenetv2和 MnasNet。

 

最终性能

作者将该效率网络与 ImageNet 上其他现有的 cnn 进行了比较。 一般来说，高效网络模型比现有的 cnn 具有更高的精度和更高的效率，减少了参数大小和 FLOPS 数量级。 在高精度体系中， EfficientNet-B7在 imagenet 上的精度达到了最高水平的84.4% ，而在 CPU 使用方面比以前的 Gpipe 小8.4倍，快6.1倍。 与广泛使用的 ResNet-50相比，作者提出的 net-b4使用了类似的 FLOPS，同时将准确率从 ResNet-50的76.3% 提高到82.6% (+ 6.3%)。

尽管 EfficientNets 在 ImageNet 上表现良好，但为了更有用，它们也应该转移到其他数据集上。 为了评估这一点，作者在八个广泛使用的学习数据集上测试了 EfficientNets。 在8个数据集中，有5个数据集的精度达到了最高水平，比如 CIFAR-100(91.7%)和 Flowers (98.8%) ，而且参数减少了5个数量级(最多减少了21个参数) ，这表明该网络也能很好地传输数据。

通过对模型效率的显著改进，预计 EfficientNets 可能成为未来计算机视觉任务的新基础。 作者开源了EfficientNet 网络模型[6]，大家可以在这里找到更多信息。

参考：

EfficientNet-可能是迄今为止最好的CNN网络 - 知乎

【一看就懂】EfficientNet详解。凭什么EfficientNet号称当今最强？ - 知乎

细品EfficientNet - 知乎

https://arxiv.org/abs/1512.03385

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

  1. ^https://arxiv.org/pdf/1811.06965.pdf
  2. ^http://www.image-net.org/
  3. ^https://arxiv.org/abs/1905.11946
  4. ^https://arxiv.org/abs/1810.13306
  5. ^https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet

 

 

后续：

【一看就懂】EfficientNet详解。凭什么EfficientNet号称当今最强？ - 知乎

上文解毒：

这么多 圈圈 是啥意思呢？是 Hadamard乘积 ,

表示对应位置元素相乘, 

神经网络里的 Hadamard乘积 参考这篇：机器学习之路三：卷积神经网络_人工智能_W_H_M_2018的博客-CSDN博客

 

YOLOv8改进 | 主干篇 | EfficientNetV2均衡缩放网络改进特征提取层
走向CTO的路上...
06-18 767
EfficientNetV2是一种基于深度卷积神经网络（CNN）的图像分类模型，它通过复合缩放、深度缩放和分辨率缩放来提升模型性能和效率。EfficientNetV2已被证明能够有效地改进YOLOv8目标检测模型。EfficientNetV2改进特征提取层是一种有效的改进YOLOv8目标检测模型的方法，它在目标检测和图像分割任务中取得了显著的性能提升。该改进通过复合缩放、深度缩放和分辨率缩放来优化模型架构，实现了良好的性能和效率平衡。
基于EfficientViT的YOLOv8主干网络改进：轻量化与特征提取能力的提升【YOLOv8】
步入烟尘的博客
12-14 1230
本文探讨了如何通过引入EfficientViT提升YOLOv8的特征提取能力，并展示了在目标检测任务中替换MobileNet后的显著性能提升。EfficientViT不仅具备强大的全局上下文建模能力，还通过其轻量化设计适合在资源受限的环境中部署。通过实验结果可以看到，EfficientViT-YOLOv8在精度和推理速度上都取得了超越MobileNet-YOLOv8的表现。
efficientnet-yolo3-pytorch:这是一个有效的网络-yolo3-pytorch的原始码，将yolov3的主干特征提取网络修改成为有效的网络
03-23
YOLOV3：只看一次目标检测模型在Pytorch当中的实现-替换高效网络主干网络 2021年2月8日更新：加入letterbox_image的选项，关闭letterbox_image后网络的地图得到大幅度提升。 目录 性能情况 训练数据集 权值文件名称 测试数据集 输入图片大小 行动计划0.5：0.95 行动计划0.5 挥发性有机化合物07 + 12 VOC-Test07 416x416 -- 78.9 所需环境 火炬== 1.2.0 文件下载 训练所需的efficiencynet-b2-yolov3的权重可以在百度云下载。链接： ： 提取码：hiuq其他版本的efficiencynet的权重可以将YoloBody（Config，phi = phi，load_weights = False）的load_weights参数设置成True，从而获得。 预测步骤 a，使用预训练权
EfficientNet
qq_44093630的博客
09-21 1791
提特征的模块一般称为backbone，可以说特征提取就是深度学习最为核心的东西。而EfficientNet系列模型是谷歌大脑在年提出，该模型探索了网络深度，宽度，图片分辨率对准确率的影响，提出了符合模型扩张的方法平衡深度，宽度，分辨率之间的关系。
EfficientNet论文翻译
tongshen的博客
09-17 4655
原文链接：https://arxiv.org/abs/1905.11946 摘要   卷积神经网络（ConvNets）普遍在一个固定的资源预算下发展的，如果可以获得更多的资源那么就增大模型来得到更好的准确率。本文系统性的研究了模型缩放尺度和以及确认，仔细地平衡网络的深度，宽度，和分辨率能够得到更好的效果。基于这个观点，我们提出了一个新的尺度缩放的方法，统一地缩放所有的维度，深度/宽度/分辨率使用一...
EfficientNet论文解读
qq_34654240的博客
06-10 1176
论文链接：下载地址 Github：下载地址 利用grid search获取alpha， beta，gama 值以2的平方数取值 在此论文中， 总结： 此论文主要是讲述了平衡w, d, r三者参数的方法 利用来将三者进行串联，再利用grid search 进行数值选取，满足（B0） 不断调节获取B1-B7网络，进行不同级别的最优化参数处理 ...
重读经典-EfficientNet
小菜鸟的AI之路
12-01 687
EfficientNet也是以前看过的一篇文章的，当时主要看了网络结构，对于文章的思考并没有很深入，这次重新看一下，加深一下对于文章的思考。 作者：Google 论文链接：https://arxiv.org/abs/1905.11946 开源代码：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet Model Scaling 本篇文章的重点是Model Scaling，至于Efficientnet只是作者在
EfficientViT助力YOLOv8 | 高效特征提取网络超越MobileNet的轻量化实战【附涨点保姆级代码】
一键难忘的博客
10-21 3014
本文探讨了如何通过引入EfficientViT提升YOLOv8的特征提取能力，并展示了在目标检测任务中替换MobileNet后的显著性能提升。EfficientViT不仅具备强大的全局上下文建模能力，还通过其轻量化设计适合在资源受限的环境中部署。通过实验结果可以看到，EfficientViT-YOLOv8在精度和推理速度上都取得了超越MobileNet-YOLOv8的表现。
智能文档解析综述：结构化信息提取的技术、挑战与前景
AIGCmagic的博客
12-06 4225
文档解析对于将非结构化和半结构化文档（如合同、学术论文和发票）转换为结构化、机器可读的数据至关重要。通过从非结构化输入中提取可靠的结构化数据，文档解析为众多应用提供了极大的便利。尤其是在大型语言模型的最新进展中，文档解析在知识库构建和训练数据生成中扮演着不可或缺的角色。本综述全面回顾了当前文档解析的现状，涵盖了从模块化管道系统到由大型视觉语言模型驱动的端到端模型等关键方法。详细探讨了版面检测、内容提取（包括文本、表格和数学表达式）以及多模态数据集成等核心组件。
边缘计算与端侧推理原理与代码实战案例讲解【系列文章】
AI天才研究院
07-04 2082
在当今数字化时代，随着物联网（IoT）设备的普及和人工智能技术的快速发展，传统的云计算模式面临着诸多挑战。数据传输延迟、网络带宽压力、隐私安全concerns等问题日益突出。为了解决这些问题，边缘计算和端侧推理技术应运而生，成为了现代计算架构中不可或缺的组成部分。边缘计算将计算能力下沉到靠近数据源的网络边缘，而端侧推理则直接在终端设备上进行AI模型的推理。这两种技术的结合不仅能够大幅降低数据传输延迟，提高实时性能，还能有效保护用户隐私，优化网络资源使用。
Yolo-Fastest:Yolo通用目标检测模型与EfficientNet-lite结合使用，计算量仅为230Mflops（0.23Bflops），模型大小为1.3MB
03-17
:high_voltage: Yolo-Fastest :high_voltage: 简单，快速，紧凑，易于移植 适用于所有平台的实时目标检测算法 基于yolo的最快和最小的已知通用目标检测算法 针对ARM移动终端的优化设计，经过优化以支持推理框架 基于RK3399，Raspberry Pi 4b ...和其他嵌入式设备上部署的NCNN，可实现完整的实时30fps + 速度比快45％，参数量减少了56％ 2021.3.16：修复分组卷积在某些旧架构GPU推理耗时异常的问题 中文介绍 2021.9.12：更新NCNN相机演示 参见AlexeyAB / darknet，此版本的darknet修复分组卷积在某些旧架构GPU推理耗时异常的问题（例如1050ti：40ms-> 4ms速度提升10倍），强烈建议使用此仓库框架训练模型 与AlexeyAB / darknet相比，此版本的Darknet解决了一些旧架构GPU中分组卷积异常耗时的推
文章内容 提取
g6660666g的博客
09-02 689
1
论文精读：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
qq_52053775的博客
05-18 1327
1.做了什么 卷积神经网络(ConvNets)通常是在固定的资源预算下开发的，如果有更多的资源可用，则会扩大规模以获得更好的准确性。在本文中，我们系统地研究了模型的缩放，并确定了仔细平衡网络的深度、宽度和分辨率可以导致更好的性能。基于这一观察结果，我们提出了一种新的尺度方法，该方法使用简单而高效的复合系数均匀地调整深度/宽度/分辨率的所有维度。我们证明了该方法在扩大移动网络和ResNet上的有效性。 作者使用神经结构搜索来设计一个新的基线网络，并对其进行扩展，以获得一系列模型，称为效率网，它实现了比以前
神经网络学习小记录26——Keras 利用efficientnet系列模型搭建yolov3目标检测平台
热门推荐
Bubbliiiing的学习小课堂
11-04 1万+
神经网络学习小记录26——EfficientNet模型的复现详解学习前言什么是EfficientNet模型EfficientNet模型的特点EfficientNet网络的结构MobileNetV2网络部分实现代码图片预测 学习前言 2019年，谷歌新出EfficientNet，在其它网络的基础上，大幅度的缩小了参数的同时提高了预测准确度，简直太强了，我这样的强者也要跟着做下去！ 什么是Effic...
目标检测之EfficientNet
AndyJ的学习之旅
08-13 1655
论文：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks-ICML 2019 概要 这篇ICML2019的论文对目前分类网络的优化提出更加泛化的思想，认为目前常用的加宽网络、加深网络和增加分辨率这3种常用的提升网络指标的方式之间不应该是相互独立的。因此提出了compoun
从LeNet到EfficientNet：CNN的演变和特点总结
喜欢打酱油的老鸟
06-19 1054
这是一个了解CNN主流变化和特点的旅程。 卷积神经网络：构建基块 卷积神经网络（或简称CNN）是提取"可学习特征"的常用方法。 CNN在深度学习和神经网络的发展与普及中发挥了重要作用。 但是，这篇博客中，我将重点放在完整的CNN架构上，而不是只关注单个内核。 我们可能无法逐一浏览CNN历史上的每个主要发展节点，但是我将尝试带您了解常见的CNN架构如何随着时间演变。 您需要对什么是CNN有所了解。 卷积神经网络：概述 LeNet：一切开始的地方 LeNet是第一个将反向传播应用于实际应用.
关键信息提取
zhongfu的博客
03-04 2671
一、PageRank主要是基于图模型，计算网页的重要性，其公式主要如下： S(Vi)和S(Vj)都表示其PR值，为了防止重点问题（有些网站不指向其他网站）和陷进问题（自己指向自己），因此加了(1-d)和d这个阻尼系数。因此其公式实质就是P=A*P，该公式利用矩阵有比较好的理解，P代表转移矩阵（可以统计出来），A代表rank列。 二、textRank则是基于PageRank算法的基础之上...
【人工智能-深度学习-图像识别】EfficientNet
一拳Marx
10-27 1662
【人工智能-深度学习-图像识别】EfficientNet入门提特征，backbone计算量B0的基础网络架构，调参调出来的：深度可分离卷积代码结构SE模块：注意力机制目标检测Zylo117完成的pytorch版本配置文件指定版本root_dir读入图像读入标注 提特征，backbone 14年VGG、15年ResNet…EfficientNet提取特征比较好，EfficientNet是当下比较好的backbone。 分类、检测、分割都可以处理的比较好。 网络结构是堆叠的，网络层数可以变多，结构可以变更复杂，
目标检测—5 EfficientDet
qq_35732321的博客
03-04 961
Efficient1 主干网络2 预测3 训练4 评价 1 主干网络 efficientdet = EfficientDet() EfficientNetB0 1.1 EfficientNet() # 初步提取特征 1.2 fpn_features = build_wBiFPN(fpn_features, fpn_num_filters[phi], i, freeze_bn=freeze_bn) # 进一步提取特征 1.3.1 classification = [class_net.call([fea
EfficientNet模型来提取颜色特征
最新发布
02-22
### 使用EfficientNet模型提取图像的颜色特征 为了使用EfficientNet模型来提取图像的颜色特征，可以采用预训练的EfficientNet模型作为基础架构，并对其进行微调或直接用于特征提取。由于EfficientNet系列模型通过平衡网络的深度、宽度和分辨率，在资源限制下实现了高效的特征提取[^1]。 具体操作如下： #### 加载预训练模型并移除顶层分类器 首先，加载不带顶部全连接层的预训练EfficientNet模型，这允许获取更通用的特征表示而不是特定于原始训练任务的输出。 ```python from tensorflow.keras.applications import EfficientNetB3 base_model = EfficientNetB3(weights='imagenet', include_top=False, input_shape=(299, 299, 3)) ``` #### 图像预处理 对于输入到EfficientNet中的每张图片，都需要按照ImageNet数据集的标准进行标准化处理，即调整大小至指定尺寸（如299x299），并将像素值转换成浮点数范围内的数值形式。 ```python import numpy as np from tensorflow.keras.preprocessing.image import img_to_array, load_img from tensorflow.keras.applications.efficientnet import preprocess_input def prepare_image(file_path): image = load_img(file_path, target_size=(299, 299)) image = img_to_array(image) image = np.expand_dims(image, axis=0) image = preprocess_input(image) return image ``` #### 提取颜色特征 一旦准备好了待分析的彩色图像，就可以将其传递给去掉顶端分类器后的EfficientNet模型以获得中间层激活值——这些就是所要寻找的颜色及其他视觉特性编码向量。 ```python features = base_model.predict(prepare_image('path/to/your/image.jpg')) color_features = features.flatten() # 将多维数组展平为一维向量以便后续处理 print(color_features.shape) ``` 上述过程展示了如何基于EfficientNet框架有效捕捉图像内部蕴含的颜色信息以及其他重要的空间模式[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事如yan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值