F a i r D a r t s Fair\space Darts Fair Darts 阅读笔记
论文贡献:
1. 指出Origin Darts中存在的两个现象: 即搜索的后期skip-connection数量过多,与由连续近似到离散结构的过程中存在性能差距的gap;
2. 分别根据上述两个问题,给出对应的解决方法: 包括将操作权重的筛选独立,提出一个新的loss来抑制近似过程中的性能差距;
3. 较为系统地总结了自Darts横空出世来各种对其性能的改进与分析;
论文方法:
1. Darts的性能瓶颈在哪里?
作者观察到,Darts在搜索的后期会出现大量的skip connection操作,skip connection对其他操作有着较为明显的抑制。虽然在search阶段的性能可能仍有小幅上涨,但在对提取出的离散结构重新进行完整训练时却发生精度的下降。
作者认为,大量skip connection操作的出现与在结构输出处使用的 s o f t m a x softmax softmax 有关,这是因为 s o f t m a x softmax softmax会以牺牲其他成员的权重为代价来增加某一成员的权重。这意味着,如果某个成员在早期拥有比其他成员更好的表现(哪怕是极轻微的优势),它也可能会被一直强化,从而逐渐占据主导地位。而 D a r t s Darts Darts在设计时所采用的加权和形式,本质上与残差连接 R e s i d u a l b l o c k Residual \space block Residual block