NAS工具箱
文章平均质量分 79
*pprp*
GiantPandaCV公众号作者,研究方向automl,nas
展开
-
【知识蒸馏】Deep Mutual Learning
【GiantPandaCV导语】Deep Mutual Learning是Knowledge Distillation的外延,经过测试(代码来自Knowledge-Distillation-Zoo), Deep Mutual Learning性能确实超出了原始KD很多,所以本文分析这篇CVPR2018年被接受的论文。同时PPOCRv2中也提到了DML,并提出了CML,取得效果显著。引言首先感谢:https://github.com/AberHu/Knowledge-Distillation-Zoo笔者原创 2021-11-16 22:08:22 · 1167 阅读 · 17 评论 -
【神经网络搜索】NasBench301 使用代理模型构建Benchmark
【神经网络搜索】NasBench301 使用代理模型构建Benchmark【GiantPandaCV导语】本文介绍的是NAS中的一个benchmark-NASBench301, 由automl.org组织发表,其核心思想是针对表格型基准存在的不足提出使用代理模型拟合架构与对应准确率。Paper: NAS-Bench-301 and The case for surrogate benchmarks for Neural Architecture SearchCode: https://github.c原创 2021-11-01 08:16:10 · 882 阅读 · 0 评论 -
如何更好地调整学习率?
【GiantPandaCV导读】learning rate对模型调优重要性不言而喻,想到超参数调优第一个可能想到的方法就是网格搜索Grid Search,但是这种方法需要大量的计算资源。之前使用fastai的时候发现其集成了一个功能叫lr_finder(), 可以快速找到合适的学习率,本文就主要分析这个15年就提出来的技术Cyclical Learning Rates。链接:https://arxiv.org/abs/1506.011861. 前言一般学习率可以人工设置,根据经验进行设置。通常会尝试原创 2021-07-06 09:35:42 · 3796 阅读 · 5 评论 -
【NAS工具箱】Pytorch中的Buffer
Parameter : 模型中的一种可以被反向传播更新的参数。第一种:直接通过成员变量nn.Parameter()进行创建,会自动注册到parameter中。def __init__(self): super(MyModel, self).__init__() self.param = nn.Parameter(torch.randn(3, 3)) # 模型的成员变量或者:通过nn.Parameter() 创建普通对象通过register_parameter()进行注册原创 2021-05-27 11:02:44 · 379 阅读 · 0 评论 -
【NAS工具箱】Drop Path介绍+Dropout回顾
【前言】Drop Path是NAS中常用到的一种正则化方法,由于网络训练的过程中常常是动态的,Drop Path就成了一个不错的正则化工具,在FractalNet、NASNet等都有广泛使用。DropoutDropout是最早的用于解决过拟合的方法,是所有drop类方法的大前辈。Dropout在12年被Hinton提出,并且在ImageNet Classification with Deep Convolutional Neural Network工作AlexNet中使用到了Dropout。原理 :在原创 2021-05-26 19:20:14 · 2277 阅读 · 0 评论