神经网络架构搜索
文章平均质量分 61
weixin_37958272
这个作者很懒,什么都没留下…
展开
-
FairNAS
FairNAS在本文中,我们证明了由于supernet训练中固有的不公平性,它们不可避免地给出了有偏见的评价。鉴于此,我们提出了两个层次的约束条件:期望公平性和严格公平性。特别是,严格公平性确保了整个训练过程中所有choice block的优化机会均等,既不会高估也不会低估其能力。我们证明这对提高模型的可信度至关重要。排名(见图1)。图1. 左:用严格公平性(FairNAS)训练的supernet给出了更可靠的。与期望公平性(EF)相比,精度预测(相关性更高)。上图:ImageNet上的superne原创 2021-02-01 02:36:35 · 403 阅读 · 0 评论 -
BigNAS
BigNAS下面,我们将首先从训练过程中的网络采样、精细化提炼、网络初始化、收敛行为和正则化五个方面系统地研究如何训练一个高质量的单级模型。然后,我们将提出一种从粗到细的方法来实现高效的资源感知架构选择。3.1 Training a High-Quality Single-Stage Model由于small and big child models具有不同的初始化和学习动态,训练一个高质量的one-shot模型是非常重要的,而且是高度非平凡的。在本节中,我们首先对最初由[37]引入的两种技术进行了泛原创 2021-01-31 23:27:13 · 245 阅读 · 0 评论 -
Universally Slimmable Networks and Improved Training Techniques
Universally Slimmable Networks and Improved Training Techniques在slimmable networks的推动下,又出现了一个问题:单个神经网络能否以任意宽度运行?在深度神经网络中,单个输出神经元的值是所有输入神经元按可学习系数加权的集合y=Σi=1nwixiy=\Sigma^n_{i=1}w_ix_iy=Σi=1nwixi,其中x为输入神经元,y为输出神经元,w为可学习系数,n为输入通道数。这种表述表明,每个输入通道或通道组都可以被看作是原创 2021-01-31 23:25:01 · 382 阅读 · 1 评论 -
SLIMMABLE NEURAL NETWORKS
SLIMMABLE NEURAL NETWORKS在资源有限的情况下,如何在运行时即时、自适应和有效地在神经网络的准确性和延迟之间进行权衡?在这项工作中,我们引入了slimmable network,这是一类新的可在不同宽度下执行的网络,作为在运行时在准确性和延迟之间进行权衡的一般解决方案。图1显示了一个slimmable network的例子,它可以在四个具有不同活动通道数量的模型变体之间切换。在切换到新的配置后,可slimmable network将成为正常的网络,无需额外的运行时和内存成本。然原创 2021-01-31 23:22:37 · 248 阅读 · 0 评论 -
NSGA-II
NSGA-II入门NSGA—II的改进算法研究转载 2021-01-28 15:26:14 · 125 阅读 · 0 评论 -
遗传算法
遗传算法转载 2021-01-28 14:18:17 · 125 阅读 · 0 评论 -
PC-DARTS代码笔记
PC-DARTS代码笔记参考代码:https://github.com/yuhuixu1993/PC-DARTSPC-DARTS网络的构造:train_search_imagenet.py先看一些网络的参数,后在回来看这些参数的作用:网络的开始先通过三个卷积层把通道扩充到C_curr = stem_multiplier*C=48然后是cells堆叠构成多层网络。Cell的代码:DARTS每个cell有两个输入节点和一个输出节点,对于卷积单元来说,输入节点被定义为前两层的单元输出;当re原创 2020-07-08 14:47:47 · 1100 阅读 · 1 评论 -
ProxylessNAS
ProxylessNASABSTRACT可微NAS可以通过网络体系结构的连续表示来降低GPU小时的开销,但存在GPU内存消耗高的问题(随候选集大小线性增长),因此需要利用代理任务(proxytasks),例如在较小的数据集上进行训练,或者只使用几个blocks进行学习,或者只是训练几个epoch。这些在代理任务上优化的架构不能保证在目标任务上是最优的。本文提出的ProxylessNAS可以直接学习大规模目标任务和目标硬件平台的体系结构。我们解决了可微NAS的高内存消耗问题,并将计算成本(GPU小时数和翻译 2020-07-08 14:31:06 · 920 阅读 · 0 评论 -
Progressive Differentiable Architecture SearchBridging the Depth Gap between Search and Evaluation
Progressive Differentiable Architecture Search:Bridging the Depth Gap between Search and EvaluationAbstract近年来,可微搜索方法在降低神经结构搜索的计算成本方面取得了重大进展。然而,这些方法在评估搜索的体系结构或将其传输到另一个数据集时通常报告较低的准确性。这可以说是由于搜索和评估场景中的架构深度之间的巨大差距。本文提出了一种有效的算法,使得搜索结构的深度在训练过程中逐渐增长。这就带来了两个问题,即翻译 2020-07-08 12:00:29 · 396 阅读 · 0 评论 -
PC-DARTS Partial Channel Connections for Memory-Efficient Differentiable Architecture Search
PC-DARTS: Partial Channel Connections for Memory-Efficient Differentiable Architecture SearchAbstract可微体系结构搜索(DARTS)在寻找有效的网络体系结构方面提供了一种快速的解决方案,但在联合训练超级网络和寻找最优体系结构方面却存在较大的内存和计算开销。在本文中,我们提出了一种新的方法,即部分连接DARTS,通过采样一小部分超级网络来减少网络空间的冗余,从而在不影响性能的情况下执行更有效的搜索。特别是,翻译 2020-07-08 11:57:55 · 1264 阅读 · 1 评论 -
Path-Level Network Transformation for Efficient Architecture Search
Path-Level Network Transformation for Efficient Architecture SearchAbstract我们引入了一种新的函数保持转换,用于有效的神经架构搜索。这种网络转换允许重用先前训练的网络和现有的成功架构,从而提高样本效率。我们的目标是解决当前网络转换操作只能执行层级的限制架构修改,例如添加(修剪)筛选器或插入(删除)层,无法更改连接路径的拓扑。我们提出的路径级转换操作使得元控制器能够在保留权重重用优点的同时修改给定网络的路径拓扑,从而能够有效地设计具翻译 2020-07-08 11:54:39 · 241 阅读 · 0 评论 -
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING
NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING本文提出了一种基于梯度的神经结构搜索方法(见图1)我们的工作是基于这样的观察:神经网络的结构和连接性通常可以由一个可变长度的字符串来指定。因此,可以使用一个递归网络(控制器)来生成这样的字符串。在真实数据上训练由字符串指定的网络——“子网络”——在验证集的准确率。使用这种准确率作为奖励信号,我们可以计算策略梯度来更新控制器。因此,在下一次迭代中,控制器将为接收高精度的体系结构提供更高的概率。换句翻译 2020-07-08 11:50:11 · 931 阅读 · 0 评论 -
Learning Transferable Architectures for Scalable Image Recognition
Learning Transferable Architectures for Scalable Image Recognition我们建议在一个小数据集上搜索一个体系结构构建块,然后将该块转移到一个较大的数据集。这项工作的关键贡献是一个新的搜索空间(我们称之为“NASNet搜索空间”)的设计,它支持可转移性。在我们的实验中,我们在CIFAR-10数据集上寻找最佳卷积层(或“单元”),然后将该单元应用于ImageNet数据集,方法是将该单元的更多副本堆叠在一起,每个副本都有自己的参数,以设计卷积架构,我们翻译 2020-07-08 11:46:59 · 264 阅读 · 0 评论 -
ENAS代码解读
ENAS代码解读参考代码:https://github.com/TDeVries/enas_pytorch数据集:cifar10main函数:def main(): global args np.random.seed(args.seed) torch.cuda.manual_seed(args.seed) if args.fixed_arc: sys.stdout = Logger(filename='logs/' + args.output_f原创 2020-07-08 11:44:28 · 1709 阅读 · 1 评论 -
Efficient Neural Architecture Search via Parameter Sharing
Efficient Neural Architecture Search via Parameter Sharing提出了一种高效的神经结构搜索(ENAS)方法,它是一种快速、廉价的模型自动设计方法。在ENAS中,控制器通过在大型计算图中搜索最优子图来发现神经网络结构。利用策略梯度训练控制器,选择一个子图,使验证集上的期望报酬最大化。同时对所选子图对应的模型进行训练,以最小化典型交叉熵损失。在子模型之间共享参数允许ENAS提供强大的经验性能,同时比现有的自动模型设计方法使用更少的GPU时间,尤其是比标准神翻译 2020-07-08 11:41:20 · 677 阅读 · 0 评论 -
DARTS DIFFERENTIABLE ARCHITECTURE SEARCH
DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH本文通过以可微的方式制定任务来解决架构搜索的可伸缩性挑战。与在离散不可微搜索空间上应用进化或强化学习的传统方法不同,我们的方法基于结构表示的连续松弛,允许使用梯度下降对结构进行有效搜索。在CIFAR-10、ImageNet、Penn-Treebank和WikiText-2上的大量实验表明,我们的算法在发现用于图像分类的高性能卷积体系结构和用于语言建模的递归体系结构方面具有优异的性能,同时比最新的不可微技术快了一个数量级。1翻译 2020-07-08 11:32:28 · 393 阅读 · 0 评论