Progressive DARTS: Bridging the Optimization Gap for NAS in the Wild

论文题目：Progressive DARTS: Bridging the Optimization Gap for NAS in the Wild
作者：Xin Chen、 Lingxi Xie、Jun Wu、Qi Tian2
期刊：International Journal of Computer Vision
一：主要内容
DARTS方法中，如果在迁移和评估网络结构时效果不好，作者认为是架构在搜索和验证两个不同场景中网络的深度不同，本文把这种现象称之为depth gap。为了解决这个问题，采用渐进式增加网络深度的方法，同时分别采用搜索空间近似和正则化的方法解决计算的开销大和搜索结果不稳定的问题。
1、搜索空间近似：随着网络深度的增加，会适当删除训练过程中权值较小的操作以保证内存。每次删除操作之后都会重新学习剩下操作的权重。

2、正则化：跳跃连接具有很强的欺诈性，网络在训练过程中往往会倾向于选择跳跃连接.在跳跃连接后加入操作等级的Dropout，在每一个阶段衰减Dropout rate ,当其他的操作被充分的学习后，Dropout操作和其他操作会被公平的对待。
–牺牲宽度来加深深度
DARTS和PDARTS的cel对比。
网络共搜索两种Cell，一种是Normal Cell,另一种为Reduction Cell。Reduction Cell会把输出的特征图高度和宽度缩小一倍，用在网路的1/3和2/3处。通过把Cell不断堆叠得到表现好的网络。
1、normal cell

2、reduction cell