Neural Architecture Search 之 P-DARTS

之前介绍了DARTS（链接：https://blog.csdn.net/fengfan_tracking/article/details/90727133），在这篇博客中接着介绍P-DARTS。

P-DARTS

GitHub链接：https://github.com/chenxin061/pdarts

P-DARTS基于DARTS进行改进，主要的创新点为：在训练阶段（寻找cell的最佳结构）逐步加深搜索结构的深度。这会带来两个问题：沉重的计算开销和较弱的搜索稳定性，分别采用搜索空间近似（search space approximation）和搜索空间正则化（search space regularization）对这两个问题进行解决。P-DARTS在单个GPU上花费7小时可完成搜索。

DARTS方法有一个明显的缺陷，叫做depth gap。意思是：在训练阶段使用浅的网络结构来搜索最佳的cell，但在验证阶段，之前在浅网络中搜索得到最优的cell在深网络中可能就不是最优的。这阻碍了可微的结构搜索向更加复杂的视觉任务发展。P-DARTS解决了depth gap，它将搜索过程分成多个阶段，并在每个阶段逐渐加深网络深度。

图1 DARTS和P-DARTS的区别

1. Preliminary: DARTS

DARTS部分请参考上一篇博客。（链接：https://blog.csdn.net/fengfan_tracking/article/details/90727133）

2. Progressively Increasing the Searching Depth

提出了方案跨过depth gap，在搜索过程中逐渐增加结构深度，在搜索结束时，网络结构可以足够接近验证时的网络结构。注意，这里是逐渐增加而不是直接增加，这是为了在浅层结构搜索时可以简化搜索空间；当网络结构加深时可以降低搜索的复杂度。

这样的做法带来了两个问题。第一个问题是计算负担，P-DARTS提出了search space approximation策略来解决，具体的，在每个训练阶段的最后减少候选操作的数量，即，将上一阶段各操作的得分作为选择的标准。第二个问题是，作者发现当应用于深的结构中时，可微的方法倾向于skip-connect operation（即零操作），这是因为skip-connect operation加速了前向/反向传播，同时导致了更快的梯度下降操作。P-DARTS提出了search space regularization策略来解决，具体的，加入了操作级别的Dropout来避免结构过拟合和限制skip-connect operation的数量。

2.1 Search Space Approximation

搜索空间近似的过程如图2所示。搜索过程分为多个阶段：一个初始阶段，若干个中间阶段和一个最终阶段。对于每一个阶段，搜索网络包括个cell，操作空间为，即。

在初始阶段，搜索网络是最浅的，但是其操作空间是最大的。在每一个阶段，根据学习到的结构参数，对每个连接的候选操作进行排序 。我们通过堆叠cell来逐渐加深搜索网络，即。同时，新的操作空间比旧的操作空间小，即<。近似的准则是丢弃一些不重要的操作，这些不重要的操作在前一个阶段都有一个小的权重。

图2

2.2 Search Space Regularization

search space regularization包括两个部分。第一个是在每个skip-connect操作之后插入操作级别的Dropout，以便部分“切断”通过skip-connect的直接路径，方便算法探索其他操作。但是，如果我们不断地阻塞通过skip-connect路径，算法会通过分配较低的权重来丢弃它们，这对最终的性能是有害的。为了解决这个矛盾，在训练过程的每个搜索阶段，我们逐渐衰减Dropout率，因此skip-connect路径在开始阶段被切断，但是在之后的阶段中，skip-connect和其它的操作平等对待。

尽管使用了Dropout，我们仍然观察到skip-connect作为一种特殊的操作方式，在评价阶段对识别精度有着显著的影响。我们发现在最后阶段之后，normal cell中保存的skip-connect数量为从2到4不等。同时，正如我们之前所观察到的，在评价阶段的识别性能也与这个数字高度相关。由此启发，search space regularization的第二部分是结构精细，即控制最后搜索阶段的skip-connect的数量为。如果skip-connect的数量不是M，则搜索该cell中权重最大的M个skip-connect，并将其他的权重设置为0，然后重新构建cell。