【博士每天一篇文献-算法】 PNN网络启发的神经网络结构搜索算法Progressive neural architecture search

阅读时间：2023-12-23

1 介绍

年份：2018
：Chenxi Liu,Google DeepMind研究科学家;Barret Zoph,OpenAI;Maxim Neumann,Goolge
会议：B区会议， Proceedings of the European conference on computer vision (ECCV).
引用量：2320
Liu C, Zoph B, Neumann M, et al. Progressive neural architecture search[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 19-34.
本文提出了一种新的卷积神经网络（CNN）结构学习方法。是一种顺序模型优化（Sequential Model-Based Optimization, SMBO）策略，通过逐步增加模型复杂度来搜索结构，并同时学习一个替代模型（surrogate model）来指导搜索过程。与直接搜索完整CNN结构的方法不同，本文方法首先搜索一个好的卷积“单元”（cell），然后根据训练集大小和期望的运行时间，将这个单元堆叠多次形成最终的CNN。从简单的模型开始，逐步过渡到复杂的模型，并在此过程中剪枝掉没有前景的结构。为了减少训练和评估模型的成本，同时训练一个模型或替代函数来预测一个结构的性能，而无需实际训练它。

2 创新点

1. 渐进式搜索策略：与传统的一次性搜索整个网络结构的方法不同，论文提出了一种渐进式的搜索策略，即从简单的网络结构开始，逐步增加复杂性，这有助于快速获得初步结果并对替代模型进行训练。
2. 结构化搜索空间：采用了一种结构化的搜索空间，通过搜索卷积“单元”（cell）而不是整个CNN，然后将这些单元堆叠起来构建最终的网络结构，这提高了搜索的效率和模型的可转移性。
3. 替代模型引导搜索：为了减少实际训练模型的数量，论文提出了使用一个替代模型来预测候选模型的性能。这个替代模型基于已评估模型的性能数据进行训练，并用于指导搜索过程。
4. 高效的性能预测：论文中使用了LSTM和MLP作为替代模型，通过学习模型结构与性能之间的映射关系，有效预测模型性能，减少了对实际训练的依赖。
5. 优化的搜索过程：通过扩展当前候选单元并使用替代模型进行评估，选择最有前景的候选者进行训练和评估，这一过程不断迭代，直到达到所需的单元复杂度。
6. 实验验证：论文在CIFAR-10和ImageNet数据集上进行了广泛的实验，验证了所提出方法的有效性，并且在计算效率和模型性能上均达到了当时的最佳水平。

3 算法步骤

1. 初始化候选单元集合：
   • 从单个块（block）的单元结构开始，构建所有可能的单元结构集合$S_1$。
2. 单元转换为CNN：
   • 将每个单元结构转换为一个CNN模型，这是通过将单元结构重复堆叠一定次数来完成的。
3. 训练代理CNN：
   • 训练集合$S_1$中的每个单元结构对应的CNN模型，并在训练集上进行训练。
4. 评估验证准确率：
   • 在验证集上评估每个CNN模型的性能，获取它们的验证准确率。
5. 训练性能预测模型：
   • 使用已评估的单元结构的准确率作为训练数据，训练一个性能预测模型（如LSTM或MLP），用于预测单元结构的性能。
6. 扩展候选单元：
   • 将当前候选单元集合$S_b$中的每个单元扩展一个块，生成新的候选单元集合$S_{b+1}^{\prime }$。
7. 预测性能：
   • 使用性能预测模型对$S_{b+1}^{\prime }$中的单元进行评分，预测它们的性能。
8. 选择最有前景的单元：
   • 根据预测模型的评分，选择最有前景的K个单元结构，形成新的候选集合$S_{b+1}$。
9. 转换和训练：
   • 将$S_{b+1}$中的单元结构转换为CNN模型，并在训练集上进行训练。
10. 更新性能预测模型：

• 使用新训练的CNN模型在验证集上的性能来更新性能预测模型。

11. 迭代搜索：

• 重复步骤6到10，直到达到所需的最大块数量B。

12. 选择最终模型：

• 在最终的候选单元集合$S_B$中，选择验证准确率最高的单元结构作为最终的CNN模型。

13. 进一步训练和评估：

• 将选定的单元结构进一步训练，并在测试集上评估其性能。

途中单元结构由5个“块”（blocks）组成，每个块代表网络中的一个操作或一组操作。

展示了PNAS算法在最大块数 ( B = 3 ) 的情况下的搜索步骤。

1. 初始化候选单元集合：
   • $S_b$表示具有b个块的候选单元集合。
   • 搜索从$S_1$开始，即所有只包含1个块的单元结构集合$S_1=B_1$。
2. 训练和评估：
   • 训练并评估$S_1$中的所有单元，并使用它们的性能数据来更新性能预测模型（预测器）。
3. 迭代扩展：
   • 在第2次迭代中，将$S_1$中的每个单元扩展为具有2个块的单元，得到$S_2^{\prime }=B_1:2$。
   • 使用性能预测模型对$S_2^{\prime }$中的所有可能的2块单元进行评分。
4. 选择和评估：
   • 从$S_2^{\prime }$中选择预测性能最好的K个单元，形成$S_2$。
   • 训练并评估$S_2$中的单元，并再次更新性能预测模型。
5. 进一步迭代：
   • 在第3次迭代中，将$S_2$中的每个单元扩展为具有3个块的单元的子集，得到$S_3^{\prime }\subseteq B_1:3$。
   • 同样地，使用性能预测模型对$S_3^{\prime }$中的单元进行评分。
6. 最终选择：
   • 从$S_3^{\prime }$中选择预测性能最好的K个单元，形成$S_3$。
   • 训练并评估$S_3$中的单元，选择最终的最佳单元作为搜索过程的获胜者。
7. 搜索树的每个层级：
   • 在搜索树的每个层级，“beam size” K 表示在该层级训练和评估的模型数量。这是一个重要的参数，因为它决定了在每一步中考虑的候选模型的数量。
8. 块的数量：
   • $B_b$表示在第b层可能的块的数量。随着b的增加，理论上可能的块组合数量会增加，但实际搜索过程中会使用性能预测模型来减少需要考虑的候选数量。

4 实验分析

（1）PNAS算法中使用的MLP集成预测器的准确性

图中上下部分分别展示了预测器在训练集上和未见过的更大模型集上的表现。

• 训练集上的准确性：对于训练集，RNN通常比MLP有更高的相关系数，这意味着RNN在训练数据上能够更准确地预测模型的性能排名。
• 泛化能力：当预测器应用于未见过的更大的模型时，MLP似乎比RNN有更好的表现。这表明尽管RNN在训练集上表现良好，但MLP在新数据上的泛化能力更强。

（2）神经架构搜索（NAS）、渐进式神经架构搜索（PNAS）和随机搜索这三种方法的相对效率

• PNAS的效率：PNAS在训练和评估较少模型的情况下，能够快速地获得高性能的模型架构。这表明PNAS在搜索过程中具有很高的效率。
• NAS的效率：与PNAS相比，NAS在达到相同平均准确率时需要训练和评估更多的模型。这意味着NAS的效率低于PNAS。
• 随机搜索的效率：随机搜索在图4中作为基线，通常需要更多的尝试才能找到性能良好的模型，因此在效率上不如PNAS和NAS。
• 性能稳定性：误差条和彩色区域显示了不同方法在多次试验中性能的波动情况。较短的误差条意味着方法的性能更加稳定。
• 模型训练次数的影响：每个模型都训练了20个周期，这意味着不同方法在模型训练上的投入是相同的，但PNAS在模型选择上更为高效。
• 搜索策略的重要性：结果强调了有效的搜索策略在神经架构搜索中的重要性，PNAS通过渐进式搜索和性能预测模型的使用，显著提高了搜索过程的效率。

5 思考

借鉴了PNN的结构设计的架构搜索算法。