Once for All: Train One Network and Specialize it for Efficient Deployment

最新推荐文章于 2025-03-05 10:50:36 发布
最新推荐文章于 2025-03-05 10:50:36 发布
阅读量1.5k 收藏 3
点赞数 1
分类专栏： 2019论文精度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42738654/article/details/103852118
版权
介绍了一种名为OFA的网络架构，它可以在不同部署场景下选择专用子网络，无需重复训练。通过一次训练，OFA网络能提供多个准确度-延迟权衡方案，实验证明，其子网络的准确率不低于甚至高于独立训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述在这里插入图片描述
训练一个OFA网络，（深度、宽度、核大小和分辨率各异）。根据部署场景，无需训练，直接从该 OFA 网络中选择一个专用子网络。在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
OFA 网络之后再使用模型选择，可以实现很多准确度-延迟权衡，而整个过程仅需训练一次。在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
———————————————————————————————在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述
所有子网络权重都是从OFA中获取的，只需训练一次，训练时间为200h。
—————————————————————————————————实验在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
我们是在分辨率224x224下测试的结果，采用了8个子网进行比较，其中independent表示独立训练子网络的准确率，下面使我们用渐进式收缩，来比较的准确率，相较于独立训练相同或者更高。在这里插入图片描述在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

ONCE-FOR-ALL TRAIN ONE NETWORK AND SPECIALIZE IT FOR EFFICIENT DEPLOYMENT
06-02
本文介绍的是一种名为“一次训练，全网部署”（ONCE-FOR-ALL, OFA）的新型神经网络训练和部署策略，旨在解决在多种设备和资源限制条件下高效推理的难题，特别是在边缘设备上。传统的做法要么是手工设计网络，要么是...
once-for-all:[ICLR 2020]一劳永逸
05-08
title = { Once for All: Train One Network and Specialize it for Efficient Deployment } , author = { Han Cai and Chuang Gan and Tianzhe Wang and Zhekai Zhang and Song Han } , booktitle = { ...
论文笔记：Once for All- Train One Network and Specialize it for Efficient Deployment
flyminnnnn的博客
09-01 6826
来源：MIT，MIT-IBM Waston AI Lab，paper，preprint 总的来说，本文有一下几点值得关注 采用了一次性训练超网并抽取子网的方式，个人感觉这是 cascade 等多阶段思路的延续，及后续网络只是进一步细化/处理较难任务，网络前期就已经有分类能力了 为了增强抽取子网的效果，提出了 PS 的训练方法，训练过程感觉作者说的不是很清楚，感觉是通过多种 loss 共同作用训...
[NAS]Once-For-All:Train One Network and Specialize itfor Efficient Deployment
qq_37151108的博客
05-29 942
OFA：Train One Network and Specialize itfor Efficient Deployment
AbstractSection I IntroductionSection II Related WorkSection III MethodPart 1 Problem formalizationPart 2 Architecture SpacePart 3 Trainging the Once-For-All NetworkPart 4 Specialized model de
ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPECIALIZE IT FOR EFFICIENT DEPLOYMENT（未更新完预览版本）
最新发布
weixin_45795384的博客
03-05 240
为了有效地训练 OFA 网络，我们还提出了一种新颖的渐进式收缩算法，这是一种广义剪枝方法，它可以在比剪枝更多的维度上减小模型大小（深度、宽度、内核大小和分辨率）。在不同的边缘设备上，OFA 的表现始终优于最先进的 (SOTA) NAS 方法（与 MobileNetV3 相比，ImageNet top1 准确度提高了 4.0%，或者准确度相同但比 MobileNetV3 快 1.5 倍，比 EfficientNet 快 2.6 倍，同时将 GPU 小时数和二氧化碳排放量减少了几个数量级。
论文解读：Once-for-All: Train One Network and Specialize it for Efficient Deployment
Lawrence_Cj的博客
07-13 2951
ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPECIALIZE IT FOR EFFICIENT DEPLOYMENT. Arxiv PDF: paper link 给每一个设备设计一个自己的结构，不论是人工去做，还是依靠NAS都是很昂贵的，而且这里面要retrain大量的网络，费时费电，污染大气，而且没法覆盖每一种设备。于是提出了OFA网络，一次训练，到处部署。 那么他们认为主要的难点是没法去更新所有sub-networks的gradient，但是如...
【论文】——Once-for-All: Train One Network and Specialize it for Efficient Deployment阅读
怡宝2号
03-02 910
论文:Once-for-All: Train One Network and Specialize it for Efficient Deployment 翻译自google 摘要: 我们解决了在许多设备和资源限制（尤其是在边缘设备）上进行有效推理的挑战性问题。常规方法要么手动设计，要么使用神经体系结构搜索（NAS）来找到专门的神经网络，并针对每种情况从头开始对其进行训练，这在计算上是禁止的（导致CO2排放量长达5辆汽车的使用寿命），因此无法扩展。在这项工作中，我们建议通过分离训练和搜索来训练一个支持所.
Once-for-All: Train One Network and Specialize it for Efficient Deployment（ICLR2020）
qihshe的博客
12-20 205
通过解耦训练和搜索来训练一个支持多种架构设置的一次性(OFA)网络，为了有效地训练OFA网络，提出了一种新的渐进式收缩算法，这是一种广义剪枝方法，它可以在比剪枝(深度、宽度、核大小和分辨率)更多的维度上减小模型大小
Once for All 代码分析
iamxiaoluoli的博客
01-09 3016
Once-For-All: Train One Network And Specialize it For Efficient Deployment代码分析 论文链接：https://arxiv.org/abs/1908.09791 代码链接：https://github.com/mit-han-lab/once-for-all 视频链接：https://youtu.be/a_OeT8MXzWI 该论文是MIT韩松组在ICLR 2020上发表的工作，Once-For-All的核心是训练只需要
【神经网络搜索】Once for all
pprp的博客
05-28 1107
【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作，其最大的优点是解耦了训练和搜索过程，可以直接从超网中采样出满足一定资源限制的子网，而不需要重新训练。该工作被ICLR20接收。 文章目录0. Info1. Motivation2. Contribution3. Method4. Experiment5. Revisiting6. Reference 0. Info Title: Once-for-All: Train one Network and Specialize i
Once-for-All: Train one Network and Specialize it for Efficient Deployment——一次到位：训练一个网络并专门化以实现高效部署
Together_CZ的博客
11-09 1450
Once-for-All: Train one Network and Specialize it for Efficient Deployment——一次到位：训练一个网络并专门化以实现高效部署
端上自动机器学习-一劳永逸网络的NAS: Once-for-All Network
05-04
MIT韩松博士等学者提出一次训练一个Once for All（一劳永逸）的网络，可以从这个网络中抽取不同的子网络，定制到不同的硬件上，这样就做到了只需要训练一次，极大降低NAS的搜索成本。
一劳永逸—MIT韩松团队开源神经网络的高效部署
专注计算机视觉全栈知识分享
03-23 847
训练正常训练一个最大的超网（动态分辨率、最大卷积核、最大宽度、最大深度）。OFA提供了官方训练的模型权重：ofa_D4_E6_K7，可直接使用。微调对超网ofa_D4_E6_K7进行渐进式收缩（PS）训练，尽量使得所有子网也能有很好的表现。搜索在超网中，使用进化算法和训练好的predictor在给定约束下(如latency FLOPs)进行搜索，得到满足约束的子网，结束算法。
关于延续训练的倡导
weixin_33895016的博客
08-31 95
最近一直在和我的团队讨论，是否要把我之前关于“延续训练”的概念变成一个理论化的东西，这是一个新概念，却是经过多年的实践总结出来并由整个团队正式把我们这套“延续训练”的流程用到了企业中，得到了企业的高度认可，这一直是我们倡导和研讨的方向。 告诉大家一个可喜的成绩，我与团队已经讨论并总结出了“56个延续训练的方法”，不负众望的是整个团队经过半年时间的努力，这些方法已经得到...
ONCE-FOR-ALL
gcf_uinque的博客
07-21 1164
论文地址：https://arxiv.org/abs/1908.09791v5 OFA网络主要的贡献就是只需要训练一次，就能得到大约2×10192 \times 10^{19}2×1019个网络，这些网络能部署在不同的场景，不需要针对不同场景训练不同的网络，因此与其他方法相比，部署成本从O(N)降为O(1)，即部署场景增加，成本几乎不变，而且精度能达到当前SOTA水平甚至超过。 Method OFA的总体优化目标为： WoW_oWo​是权重，archiarch_iarchi​是结构配置，C(Wo,arc
RandAugment: Practical automated data augmentation with a reduced search space
qq_42738654的博客
01-03 4770
论文名称：RandAugment: Practical automated data augmentation with a reduced search space (实用的减少搜索空间的数据增强手段) 论文目的： 1.本文提出了一种数据增强手段，减少了以往autoaugment需要大量的搜索空间。 2.以往autoaugment需要根据数据集大小，模型种类来调整正则化强度，现在用本文的方法可...
Vote3Deep: Fast Object Detection in 3D Point Clouds Using Efficient Convolutional Neural Networks
qq_42738654的博客
01-03 1955
下图Vote3Deep在KITTI上不可见点云的检测效果。 本文方法：在原生的3D特征（native 3D representation）上执行一个稀疏卷积，接着是一个ReLU非线性，它返回一个新的稀疏3D特征。这个过程可以像传统CNN一样重复和叠加，输出层预测检测分数。用NMS对重复检测进行剪枝（3D中的NMS能够更好地处理彼此背后的对象，因为3D包围框的重叠小于它们的2D投影）。 本文为每...
SOLO:Segmenting Objects by Locations
qq_42738654的博客
01-03 1749
SOLO SOLO的中心思想是把instance segmentation的问题分解为两个相似的分类问题，分别是category-aware预测和instance-aware mask的生成。 把输入图片分成SxS个格子，如果一个物体的中心落入到了一个格子中，那么这个格子就负责两件事情， 1）预测semantic category 2）生成instance mask。 —————————————...
ICLR 2020: 通过'一劳永逸'方法实现网络训练及高效部署
资源摘要信息: "Once For All: Train One Network and Specialize it for Efficient Deployment" 是在国际学习表征会议（International Conference on Learning Representations, ICLR）2020年发表的一篇论文。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值