论文阅读笔记
论文:Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation
代码链接:pdarts
原文作者:Xin Chen、Lingxi Xie等
这篇是把CMU之前的一个工作darts作为baseline,然后基于此存在的问题做出改进。
darts主要存在的问题有:
- 从proxy task中search到的cell,通过简单的堆叠强行把网络加深用在object task上,但存在一个depth gap,在proxy task中search到的cell在浅层网络中是有效的,但不一定在强行加深后仍然有效,或者说性能会下降。
- 随机初始化的影响,search的结果不太可控,很难复现。
主要工作
这篇论文的作者,针对第一个问题提出了一个解决方案,如图1.
darts在从proxy task 迁移到object task的时候,直接强行堆叠,如1(a)将8个cell叠为20个cell,这就会存在第一个问题。作者就把search分为几