Universally Slimmable Networks and Improved Training Techniques

最新推荐文章于 2022-07-20 09:27:34 发布
最新推荐文章于 2022-07-20 09:27:34 发布
阅读量399 收藏
点赞数
分类专栏： 神经网络架构搜索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37958272/article/details/113487466
版权

Universally Slimmable Networks and Improved Training Techniques

在slimmable networks的推动下，又出现了一个问题：单个神经网络能否以任意宽度运行？在深度神经网络中，单个输出神经元的值是所有输入神经元按可学习系数加权的集合 y = Σ i = 1 n w i x i y=\Sigma^n_{i=1}w_ix_i y=Σi=1n​wi​xi​，其中x为输入神经元，y为输出神经元，w为可学习系数，n为输入通道数。这种表述表明，每个输入通道或通道组都可以被看作是输出神经元的一个残差分量[6].因此，一个更宽的网络的性能应该不会比它的纤细网络差（纤细网络的精度总是可以通过学习新的连接来达到零）。换句话说，如果我们考虑单层，全聚合和部分聚合之间的残差误差会减小，并且是有边界的。

在这里插入图片描述

有界不等式表明，一个可在离散宽度集上执行的纤细网络[25]有可能在两者之间的任何宽度上运行（如果训练得当的话），因为残余误差会随着宽度的增加而减小，并且是有界的。

在这项工作中，我们提出了可以在大范围内任意宽度运行的 universally slimmable networks（US-Net）。我们解决了训练US-Net的三个基本挑战。首先，如何处理具有BN的神经网络？第二，如何高效地训练US-Net？第三，与训练单个网络相比，我们还可以在US-Nets中探索什么来提高整体性能？

首先，在训练过程中积累US-Net中所有子网的独立BN统计，计算量大，效率低。其次，如果在每次迭代中，我们只更新一些采样的子网络，那么这些BN统计数据积累不足，从而不准确，导致我们实验中的准确性大大降低。

修改后是在训练后计算所有宽度的BN统计。训练后US-Net的权重是固定的，因此所有BN统计可以在集群服务器上并行计算。更重要的是，我们发现随机抽样的训练图像子集，只要1个mini-batch（1024张图像），就已经可以产生精确的估计。因此计算BN后统计可以非常快。

为了训练一个US-Net，一个自然的解决方案是积累或平均从不同宽度采样的损失。例如，在每次训练迭代中，我们随机抽取[0.25; 1.0]x范围内的n个宽度。再进一步，我们应该注意到，在US-Net中，所有宽度下的性能都由模型在最小宽度（如0.25x）和最大宽度（如1.0x）下的性能来约束。换句话说，优化性能下界和上界可以隐含地优化模型在所有宽度下的性能。因此，在每个训练迭代中，我们不是随机采样n个宽度，而是在最小宽度、最大宽度和(n-2)随机采样的宽度下训练模型。我们采用这种规则（命名为三明治规则）来训练US-Net，并显示出更好的收敛行为和整体性能。

此外，我们还提出了inplace distillation，在每次训练迭代中，将单个US-Net内部的知识从全网转移到子网。这个想法的动机是两步知识提炼[7]，即先训练一个大模型，然后用预测的软目标进行训练，将其学到的知识转移到一个小模型上。

我们可以直接将模型在最大宽度处的预测标签作为其他宽度的训练标签，而对于最大的宽度，我们使用的是ground truth。

我们的贡献总结如下:

  1. 我们第一次能够使用一种简单而通用的方法，在任意宽度下训练一个可执行的神经网络。

  2. 我们进一步提出了两种改进的训练技术 在US-Nets的背景下，加强训练过程。并提升测试精度。

  3. 我们介绍了对图像的实验和消融研究。分类、图像超分辨率和深度强化 学习。

  4. 我们进一步深入研究了(1)宽度下界k0，(2)宽度除数d，(3)每次训练迭代n的采样宽度数，和

    (4) BN后统计s的子集大小。

  5. 我们进一步证明，我们的方法也可以用于训练不均匀的us网，其中每一层都可以调整自己的宽度比，而不是统一应用于所有层的全局宽度比。

  6. 我们的发现为许多相关领域提供了可能性，例如，以FLOPs-Accuracy spectrum（图1）进行网络比较，以及对通道数进行one-shot架构搜索[24]。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

weixin_37958272
关注
专栏目录
DMCP: Differentiable Markov Channel Pruning for Neural Networks（论文阅读）
安静到无声
07-21 1186
作者将上述的有向无环图的转移建模为随机过程，并用一组可学习的参数来参数化转移概率。我们将可学习的参数命名为体系结构参数，以区分它们与网络权重。设p(w1,w2,…,wk−1)p(w_1,w_2,…,w_{k−1})p(w1​,w2​,…,wk−1​)是保留前k−1k−1k−1个信道的概率。保留前kkk个通道的概率可以表示为： p(w1,…,wk)=p(wk∣w1,…,wk−1)p(w1,…,wk−1)p\left(w_{1}, \ldots, w_{k}\right)=p\left(w_{k} \mid w
ENAS代码解读
weixin_37958272的博客
07-08 1851
ENAS代码解读 参考代码：https://github.com/TDeVries/enas_pytorch 数据集：cifar10 main函数： def main(): global args np.random.seed(args.seed) torch.cuda.manual_seed(args.seed) if args.fixed_arc: sys.stdout = Logger(filename='logs/' + args.output_f
Universally Slimmable Networks and Improved Training Techniques_ICCV_2019
安静到无声
07-21 881
简述：Slimmable Networks可以调整网络运行宽度的网络。在这项工作中，作者提出了一个系统化的方法来训练universally slimmable networks (US-Nets)，并提出了两个改进的训练技术sandwich ruleh 和 inplace distillation,。 单个神经网络能在任意宽度下运行吗? 这使作者对特征聚合产生了新的思考。作者想：在深度神经网络中，单个神经元的输出的值是所有输入神经元以可学习参数（权重）加权的集合，即 y=∑i=1nwixiy=\sum_{i
76篇 ICCV 2019 论文实现代码
git1314的博客
09-19 1万+
ICCV 2019 将于2019/10/27-2019/11/2在韩国首尔的 COEX 会议中心举行，本次ICCV 收到了创纪录的4303份提交（比ICCV 2017年增加了100％），并接受了1077篇论文，接受率为25％。详情可以看ICCV2019官网：http://iccv2019.thecvf.com/ AI研习社将会给大家持续整理 ICCV 2019 论文实现代码系列集合，方便大家学习！...
模型加速--Slimmable neural networks
AI小作坊 的博客
11-07 2313
Slimmable neural networks ICLR2019 Code and models will be released 可瘦身的神经网络，针对不同硬件和运行环境，可以快速提供与之相适应的CNN模型来完成任务。 硬件配置好的，给一个大模型，硬件配置差的，给一个小点的模型。同一个模型，设置一下参数就可以了 At runtime, the network can adjust its w...
深度学习自学（二十六）：ICCV2019
热门推荐
TheDayIn_CSDN的博客
11-07 2万+
简单整理下人脸方向ICCV2019相关的论文。 Oral 论文 11.Photo-Realistic Facial Details Synthesis from Single Image 作者：Anpei Chen, Zhang Chen, Guli Zhang, Ziheng Zhang, Kenny Mitchell, Jingyi Yu 论文链接：https://arxiv.org/a...
轻量级网络 Slimmable Neural Networks
Crayon0626的博客
12-28 3090
Slimmable Neural Networks 论文地址：https://arxiv.org/abs/1812.08928 Github: https://github.com/JiahuiYu/slimmable_networks OpenReviews:https://openreview.net/forum?id=H1gMCsAqY7 Motivation 移动端的应用对算法运行效率有较...
模型优化算法——AutoSlim
LF_AI的博客
07-20 504
概述AutoSlim是一种one-shot模型优化方法，只要给定网络类型（如MobileNet-v1，ResNet50），给定限制条件（如Flops、latency等），就能自动决定每一层的通道数，以达到最优的模型精度。该优化方法打破了人工设计模型的“half size， double channel”的假设，解决了需要人为评估模型每一层敏感度，人为设置剪枝层/剪枝层类型...
Universally Composable Security_A New Paradigm for Cryptographic Protocols
02-27
**Universally Comurable (UC) 安全性** 是一个在密码学领域内提出的全新概念，它提供了一种评估和设计安全协议的新方法。UC 框架的核心思想是通过形式化的方式来定义和证明密码协议的安全性，确保在一个通用且可...
universally:扑扑的第三方图书馆
04-06
"universally:扑扑的第三方图书馆" 提供了一个通用的解决方案，它依赖于通用插件，旨在帮助开发者轻松接入并及时更新最新可用的库版本，从而提高开发效率和应用的性能。 Dart 是谷歌开发的一款面向服务器、Web 和...
PC-DARTS代码笔记
weixin_37958272的博客
07-08 1171
PC-DARTS代码笔记 参考代码：https://github.com/yuhuixu1993/PC-DARTS PC-DARTS网络的构造：train_search_imagenet.py 先看一些网络的参数，后在回来看这些参数的作用： 网络的开始先通过三个卷积层把通道扩充到C_curr = stem_multiplier*C=48 然后是cells堆叠构成多层网络。 Cell的代码： DARTS每个cell有两个输入节点和一个输出节点，对于卷积单元来说，输入节点被定义为前两层的单元输出；当re
FairNAS
weixin_37958272的博客
02-01 436
FairNAS 在本文中，我们证明了由于supernet训练中固有的不公平性，它们不可避免地给出了有偏见的评价。鉴于此，我们提出了两个层次的约束条件：期望公平性和严格公平性。特别是，严格公平性确保了整个训练过程中所有choice block的优化机会均等，既不会高估也不会低估其能力。我们证明这对提高模型的可信度至关重要。排名（见图1）。 图1. 左：用严格公平性（FairNAS）训练的supernet给出了更可靠的。与期望公平性（EF）相比，精度预测（相关性更高）。上图：ImageNet上的superne
SLIMMABLE NEURAL NETWORKS
weixin_37958272的博客
01-31 297
SLIMMABLE NEURAL NETWORKS 在资源有限的情况下，如何在运行时即时、自适应和有效地在神经网络的准确性和延迟之间进行权衡？在这项工作中，我们引入了slimmable network，这是一类新的可在不同宽度下执行的网络，作为在运行时在准确性和延迟之间进行权衡的一般解决方案。图1显示了一个slimmable network的例子，它可以在四个具有不同活动通道数量的模型变体之间切换。 在切换到新的配置后，可slimmable network将成为正常的网络，无需额外的运行时和内存成本。 然
BigNAS
weixin_37958272的博客
01-31 278
BigNAS 下面，我们将首先从训练过程中的网络采样、精细化提炼、网络初始化、收敛行为和正则化五个方面系统地研究如何训练一个高质量的单级模型。然后，我们将提出一种从粗到细的方法来实现高效的资源感知架构选择。 3.1 Training a High-Quality Single-Stage Model 由于small and big child models具有不同的初始化和学习动态，训练一个高质量的one-shot模型是非常重要的，而且是高度非平凡的。在本节中，我们首先对最初由[37]引入的两种技术进行了泛
08-React redux
最新发布
09-14
redux 相关代码以及 redux 开发者工具
C#中的数据库迁移是如何实现的
09-14
在C#中，数据库迁移是Entity Framework（EF）的一个核心功能，它允许开发者通过代码变更来更新数据库结构。以下是如何在C#中使用Entity Framework实现数据库迁移的详细步骤和代码示例。 Entity Framework的迁移功能为C#开发者提供了一种强大的工具，用于管理和应用数据库架构的变更。通过上述步骤和命令，可以在开发过程中轻松地同步模型和数据库的更改。在实际开发中，应确保在应用迁移之前充分测试，以避免数据丢失或不一致的问题。 在C#中，数据库迁移是Entity Framework（EF）的一个核心功能，它允许开发者通过代码变更来更新数据库结构。以下是如何在C#中使用Entity Framework实现数据库迁移的详细步骤和代码示例。 Entity Framework的迁移功能为C#开发者提供了一种强大的工具，用于管理和应用数据库架构的变更。通过上述步骤和命令，可以在开发过程中轻松地同步模型和数据库的更改。在实际开发中，应确保在应用迁移之前充分测试，以避免数据丢失或不一致的问题。
RS485数据收发程序示例
09-14
RS485数据收发程序示例
请将以下内容进行压缩凝练（注意：可对内容进行删减，对错误进行修正，对语句顺序进行调整，符合美式英语标准，符合英语母语者语言习惯，句子简明易懂，术语使用准确，保留文章结构、不偏离论文主要内容）： Traditional machine learning methods can be divided into two categories: supervised and unsupervised learning methods. The supervised learning methods include Support Vector Machine (SVM), Random Forest, Decision Tree, etc. The unsupervised learning methods include Principal Component Analysis (PCA), Independent Component Analysis (ICA), K-means clustering, Non-Negative Matrix Decomposition (NMF), etc. Traditional machine learning methods also have shortcomings, which require high data quality, professional processing and feature engineering of data by experts according to experience and expertise, and high labor cost. At the same time, the use of traditional machine learning methods have its limitation because they need to be combined with the geological situation of a certain region to target anomaly detection, and cannot be universally applied to other regions.
02-28
Traditional machine learning can be divided into supervised and unsupervised methods, such as Support Vector Machines, Random Forests, Decision Trees, Principal Component Analysis, Independent Component Analysis, K-means clustering, and Non-Negative Matrix Decomposition. However, these methods have limitations and require high-quality data, expert feature engineering, and are often region-specific for anomaly detection.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值