NAS之《Neural Architecture Transfer》论文笔记

截图均来自原论文，如有侵权，请联系删除。

1、 论文主要特点

高效的产生针对特定任务的模型, 一次NAT的运行就能有效地获得多个任务的神经网络

• 训练task-specific super-net

• 从super-net中采样特定的子网络，而不需要额外的训练。

大量实验表明：

​ 通过对ImageNet上预训练好的模型进行迁移学习，往往比直接在小数据集上进行训练得到的模型好

关键是：

• 一个综合的在线迁移学习
• 多目标进化搜索过程

在搜索特定任务子网的同时，对预先训练好的super-net进行迭代调整。

NAT返回两个：

1. 适用于不同任务的子网
2. super-net

训练包含重复循环两个阶段：

1、Adapt super-net

• 首先从进化搜索返回的最佳子网构造一个分层的经验分布。
• 然后，对从该分布中采样的子网进行微调

2、search stage

• 采用代理模型来快速预测任何抽样子网的objectives，而不需要进行全面和昂贵的评估。
• 预测模型本身也在线学习以前的评估子网

2、提出的方法

1、三个重要组成：

1. an accuracy predictor,
2. an evolutionary search routine,
3. a supernet.

2、算法流程：

开始时， an archive A of architectures (subnets) 从supernet中随机采样子网络，子网络参数直接继承于supernet。

然后重复以下两步：</