Fair Darts阅读笔记

$FairDarts$ 阅读笔记

论文贡献：

1. 指出Origin Darts中存在的两个现象: 即搜索的后期skip-connection数量过多，与由连续近似到离散结构的过程中存在性能差距的gap；

2. 分别根据上述两个问题，给出对应的解决方法: 包括将操作权重的筛选独立，提出一个新的loss来抑制近似过程中的性能差距；

3. 较为系统地总结了自Darts横空出世来各种对其性能的改进与分析；

论文方法：

1. Darts的性能瓶颈在哪里？

​ 作者观察到，Darts在搜索的后期会出现大量的skip connection操作，skip connection对其他操作有着较为明显的抑制。虽然在search阶段的性能可能仍有小幅上涨，但在对提取出的离散结构重新进行完整训练时却发生精度的下降。

​ 作者认为，大量skip connection操作的出现与在结构输出处使用的$softmax$ 有关，这是因为$softmax$会以牺牲其他成员的权重为代价来增加某一成员的权重。这意味着，如果某个成员在早期拥有比其他成员更好的表现(哪怕是极轻微的优势)，它也可能会被一直强化，从而逐渐占据主导地位。而$Darts$在设计时所采用的加权和形式，本质上与残差连接$Residualblock$