神经网络搜索
文章平均质量分 89
*pprp*
GiantPandaCV公众号作者,研究方向automl,nas
展开
-
知识蒸馏综述:网络结构搜索应用
【GiantPandaCV导语】知识蒸馏将教师网络中的知识迁移到学生网络,而NAS中天然的存在大量的网络,使用KD有助于提升超网整体性能。两者结合出现了许多工作,本文收集了部分代表性工作,并进行总结。1. 引言知识蒸馏可以看做教师网络通过提供soft label的方式将知识传递到学生网络中,可以被视为一种更高级的label smooth方法。soft label与hard label相比具有以下优点:模型泛化能力更强降低过拟合的风险一定程度上降低了学生网络学习的难度。对噪声更加鲁棒。具有更多原创 2021-12-12 19:32:19 · 2944 阅读 · 0 评论 -
【知识蒸馏】Deep Mutual Learning
【GiantPandaCV导语】Deep Mutual Learning是Knowledge Distillation的外延,经过测试(代码来自Knowledge-Distillation-Zoo), Deep Mutual Learning性能确实超出了原始KD很多,所以本文分析这篇CVPR2018年被接受的论文。同时PPOCRv2中也提到了DML,并提出了CML,取得效果显著。引言首先感谢:https://github.com/AberHu/Knowledge-Distillation-Zoo笔者原创 2021-11-16 22:08:22 · 1157 阅读 · 17 评论 -
Towards Oracle Knowledge Distillation with NAS
【GiantPandaCV导语】本文介绍的如何更好地集成教师网络,从而更好地提取知识到学生网络,提升学生网络的学习能力和学习效率。从方法上来讲是模型集成+神经网络结构搜索+知识蒸馏的综合问题,在这里使用简单的NAS来降低教师网络与学生网络之间的差距。背景介绍解决的问题?希望从集成的教师网络中提取知识到学生网络,从而提升学习能力和学习效率。model ensemble + NAS + KDMotivation: This is motivated by the fact that kno原创 2021-11-11 15:51:59 · 1327 阅读 · 0 评论 -
Bag of Tricks for Neural Architecture Search
Bag of Tricks for Neural Architecture Search【GiantPandaCV导语】相比于普通的分类网络,基于超网的NAS更加难以训练,会出现收敛效果较差甚至不收敛的情况。并且,基于超网的NAS还需要额外关注子网的排序一致性等问题,训练策略的选择也极为重要。AutoSlim, BigNAS等文章都花费了大量篇幅来讲解超网的训练技巧。本文是CVPR2021 Workshop中的一篇短文,作者单位是de bosch,介绍了NAS中常用的trick。1. 介绍NAS在很原创 2021-11-05 09:44:54 · 164 阅读 · 0 评论 -
【神经网络搜索】NasBench301 使用代理模型构建Benchmark
【神经网络搜索】NasBench301 使用代理模型构建Benchmark【GiantPandaCV导语】本文介绍的是NAS中的一个benchmark-NASBench301, 由automl.org组织发表,其核心思想是针对表格型基准存在的不足提出使用代理模型拟合架构与对应准确率。Paper: NAS-Bench-301 and The case for surrogate benchmarks for Neural Architecture SearchCode: https://github.c原创 2021-11-01 08:16:10 · 876 阅读 · 0 评论 -
NetAug 韩松团队新作解决欠拟合问题
【GiantPandaCV导语】本文介绍的是韩松团队针对欠拟合问题提出的一种解决方案,在代价可接受范围内能够提升小模型的性能。引入专用于解决小型网络模型欠拟合 带来的问题,通过引入更大的模型包围住小模型从而得到额外的监督信息。欠拟合情况下使用正则化方法进行处理会导致性能更差。NetAug适用场景:数据集量比较大模型参数量相对而言比较小由于模型容量有限导致的欠拟合问题问题明确与知识蒸馏区别:知识蒸馏相当于学习一个soft label(或者说learned label s原创 2021-10-28 14:15:24 · 195 阅读 · 0 评论 -
【神经网络架构搜索】DNA: Block-wisely Supervised NAS with KD
【GiantPandaCV导语】知识蒸馏结合NAS的一篇工作,提出了DNA,让教师网络来指导超网的学习。这个工作将知识蒸馏非常深入的融合在一起,有很强的创新性,已被CVPR20接收。1. 背景介绍知识蒸馏通常作为One-Shot NAS中的一个训练技巧,但是他起到非常大的作用。简便起见,知识蒸馏在这里被分为四类:基于softmax输出层的知识蒸馏基于中间层的知识蒸馏基于相关性知识的知识蒸馏基于GAN的知识蒸馏第一个基于softmax输出层的知识蒸馏是最传统的,Hinton原创 2021-09-27 15:31:45 · 331 阅读 · 0 评论 -
ECCV20 BigNAS无需后处理直接部署
【GiantPandaCV导语】这篇是Slimmable Network三部曲之后的续作,提出了Single-Stage的超网训练方法,在更大的搜索空间中,提出了很多训练的Trick来提升训练效果以及稳定训练过程。0. InfoTitle: BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage ModelsAuthor: Jiahui Yu, Pengchong Jin, Hanxiao Liu, Gabriel Ben原创 2021-09-17 10:11:43 · 258 阅读 · 0 评论 -
【神经网络架构搜索】ProxylessNAS直接在ImageNet上搜索
【GiantPandaCV导语】这篇是MIT韩松实验室发布的文章,是第一个直接在ImageNet上进行搜索的NAS算法,并且提出了直接在目标硬件上对latency进行优化的方法。相比于同期算法NASNet、MnasNet等,搜索代价降低了200倍。0. InfoTitle: ProxylessNAS: Direct Neural Architecture Search On Target Task and HardwareAuthor: MIT韩松团队Link: https://arxiv.org/原创 2021-07-01 11:15:47 · 307 阅读 · 0 评论 -
ICLR 2021 NAS 相关论文(包含Workshop)
ICLR 2021 Workshop 接收Measuring Uncertainty through Bayesian Learning of Deep Neural Network StructureZhijie Deng, Yucen Luo and Jun Zhu PDFAutoHAS: Efficient Hyperparameter and Architecture SearchXuanyi Dong, Mingxing Tan, Adams Yu, Daiyi Peng, Bog原创 2021-06-22 09:40:03 · 760 阅读 · 0 评论 -
CVPR2021 NAS相关论文链接
Neural Architecture Search with Random LabelsLandmark Regularization: Ranking Guided Super-Net Training in Neural Architecture SearchAttentiveNAS: Improving Neural Architecture Search via AttentiveFBNetV3: Joint Architecture-Recipe Search Using Predict.原创 2021-06-22 09:15:55 · 345 阅读 · 0 评论 -
【神经网络架构搜索】SMASH直接生成候选网络权重
1. INFOTitle: SMASH: One-Shot Model Architecture Search through HyperNetworksAuthor: Andrew Brock, Theodore Lim, & J.M. RitchieLink: https://arxiv.org/pdf/1708.05344.pdfDate: ICLR 2018 PosterCode:https://github.com/ajbrock/SMASH2. Motivation高性能原创 2021-06-21 18:12:19 · 368 阅读 · 0 评论 -
【神经网络搜索】Once for all
【GiantPandaCV导语】Once for all是韩松组非常有影响力的工作,其最大的优点是解耦了训练和搜索过程,可以直接从超网中采样出满足一定资源限制的子网,而不需要重新训练。该工作被ICLR20接收。文章目录0. Info1. Motivation2. Contribution3. Method4. Experiment5. Revisiting6. Reference0. InfoTitle: Once-for-All: Train one Network and Specialize i原创 2021-05-28 14:14:06 · 848 阅读 · 0 评论 -
【NAS工具箱】Pytorch中的Buffer
Parameter : 模型中的一种可以被反向传播更新的参数。第一种:直接通过成员变量nn.Parameter()进行创建,会自动注册到parameter中。def __init__(self): super(MyModel, self).__init__() self.param = nn.Parameter(torch.randn(3, 3)) # 模型的成员变量或者:通过nn.Parameter() 创建普通对象通过register_parameter()进行注册原创 2021-05-27 11:02:44 · 375 阅读 · 0 评论 -
【NAS工具箱】Drop Path介绍+Dropout回顾
【前言】Drop Path是NAS中常用到的一种正则化方法,由于网络训练的过程中常常是动态的,Drop Path就成了一个不错的正则化工具,在FractalNet、NASNet等都有广泛使用。DropoutDropout是最早的用于解决过拟合的方法,是所有drop类方法的大前辈。Dropout在12年被Hinton提出,并且在ImageNet Classification with Deep Convolutional Neural Network工作AlexNet中使用到了Dropout。原理 :在原创 2021-05-26 19:20:14 · 2262 阅读 · 0 评论 -
【神经网络搜索】NAS-Bench-101: 可复现神经网络搜索
【GiantPandaCV导语】Google Brain提出的NAS领域的Benchmark,是当时第一个公开的网络架构数据集,用于研究神经网络架构搜索。本文首发GiantPandaCV,请不要随意转载。0. 摘要神经网络搜索近年来取得进步巨大,但是由于其需要巨大的计算资源,导致很难去复现实验。本文目标是通过引入NAS-Bench-101的方法来缓解以上问题。在NAS-Bench-101中,设计了一个紧凑且丰富的搜索空间。通过图同构的方式来区别423k个网络架构。在CIFAR10数据集上多次训练以上原创 2021-05-19 09:21:25 · 913 阅读 · 4 评论 -
【神经网络结构搜索综述】NAS的挑战和解决方案
【GiantPandaCV导读】上一篇中,笔者翻译了国外一篇介绍Automl和NAS的博客,点这里回顾。这一篇是笔者对《A Comprehensive Survey of Nerual Architecture Search: Challenges and Solutions》这篇论文进行翻译和解读,这是2020年刚刚发到arxiv上的有关NAS的综述,内容比较多,30页152篇参考文献。对初学者来说,可以当作一个学习的目录,阅读文中提到的论文。文末用思维导图总结了整篇文章脉络,可以用来速览。【内容速览】原创 2020-11-16 15:06:37 · 1331 阅读 · 2 评论 -
【神经网络搜索】Single Path One Shot
【GiantPandaCV导读】Single Path One Shot(SPOS)是旷视和清华、港科大联合的工作。与之前的工作不同,SPOS可以直接在大型数据集ImageNet上搜索,并且文章还提出了一种缓和权重共享的NAS的解耦策略,让模型能有更好的排序一致性。代码:https://github.com/megvii-model/SinglePathOneShot论文:https://arxiv.org/abs/1904.00420摘要之前的One-Shot NAS训练难度很大,并且在大型数据原创 2021-05-04 11:06:04 · 922 阅读 · 4 评论 -
【神经网络搜索】DARTS: Differentiable Architecture Search
【GiantPandaCV】DARTS将离散的搜索空间松弛,从而可以用梯度的方式进行优化,从而求解神经网络搜索问题。本文首发于GiantPandaCV,未经允许,不得转载。1. 简介此论文之前的NAS大部分都是使用强化学习或者进化算法等在离散的搜索空间中找到最优的网络结构。而DARTS的出现,开辟了一个新的分支,将离散的搜索空间进行松弛,得到连续的搜索空间,进而可以使用梯度优化的方处理神经网络搜索问题。DARTS将NAS建模为一个两级优化问题(Bi-Level Optimization),通过使用Gra原创 2021-03-02 09:25:56 · 792 阅读 · 1 评论 -
【神经网络搜索】ENAS:Efficient Neural Architecture Search
【GiantPandaCV导语】本文介绍的是Efficient Neural Architecture Search方法,主要是为了解决之前NAS中无法完成权重重用的问题,首次提出了参数共享Parameter Sharing的方法来训练网络,要比原先标准的NAS方法降低了1000倍的计算代价。从一个大的计算图中挑选出最优的子图就是ENAS的核心思想,而子图之间都是共享权重的。1. 摘要ENAS是一个快速、代价低的自动网络设计方法。在ENAS中,控制器controller通过在大的计算图中搜索挑选一个最原创 2021-03-01 18:09:32 · 1028 阅读 · 0 评论 -
【神经网络搜索】神经网络架构国内外发展现状-NAS信息检索
文章目录[1] 信息检索语言[2] 信息检索技术[3] 信息检索工具[4] 信息检索流程[1] 信息检索语言信息检索语言是用于描述信息系统中的信息的内容特征,常见的信息检索语言包括分类语言和主题语言。就神经网络架构搜索这个问题来说,最好选择主题语言,可以通过借助自然语言,更具有直观性和概念唯一性。而主题语言分为关键词语言和纯自然语言。选用关键词语言就要挑选神经网络架构搜索的关键词,表征文献主题内容具有实质意义的词语,不要将冠词、介词、副词、连词作为查询的关键词。[2] 信息检索技术采用布尔逻辑检索原创 2021-02-26 11:11:34 · 1915 阅读 · 0 评论