自动搜索网络
看不见我呀
坚持就是胜利
展开
-
自动搜索网络-darts
之前的方法,采用RNN + RL,那个代价太大。 本节介绍的方法,是常用的方法。 Darts:目标函数是NN结构超参数的可微函数,于时可以对目标函数,关于超参数求梯度,直接用梯度来更新超参数。这样不用RL,更好的找到RL。 FBNet:是Darts的特例。 基本思想 用户需要手动定义一些模块,作为候选方案,例如:9中候选模块,包含conv以及其他。《候选模块越多,计算量越大,搜索越慢》。 图为9个候选框的一个。 输入为张量;经过conv,输出张量,其维度和输入相同。然后采用直连。 用户原创 2022-05-25 16:02:28 · 355 阅读 · 0 评论 -
MNASNET 概述
MNASNET简介 设计mobilent的过程中发现:人类设计的能力有极限。因此,需要找到一个网络,在acc和latency之间平衡。设计loss function,让机器来找到最优的网络结构。 优化目标 层级搜索空间 Cnn动辄上百层,本文将CNN分为多个block,block中相同的layer重复。 Layer的搜索空间: 训练 Mobilenetv2作为baseline,我们搜索{0,+1,-1}基于mobilenetv2,每层的filter size,提出一个新的CNN,训练,得到ac原创 2022-05-25 15:28:34 · 724 阅读 · 0 评论