Neural Architecture Search的大致思路是通过训练,让模型学会找到适合该任务的模型。即以往的任务是训练模型应付某种任务,而模型如何确定主要靠人。而NAS则是用模型来确定新模型。
本文的搜寻方式分两步,第一步是粗搜寻,主要是确定拓扑结构,第二步是精搜寻,确定每个拓扑节点应该采用什么具体操作。在此基础上,作者发现医学图像方面变现优异的网络主要是U型的,并含有跳过连接(skip connection,就上图中横过来的那些线),最经典的就是Unet,因此作者给第一步搜寻加了限定,删去了不可能经过的结点并要求网络结构必须是U型。
在粗搜寻中,降采样和上采样时,维度不能剧烈变化,因此删去途中灰色的点。同时,因为拓扑路径必须为U型,因此途中橙色路径不合法,而绿色路径合法。
在确定结构之后,便继续搜寻每个节点应该采用什么操作,而上图中,右边的图分辨展示了单输入和双输入的节点处理数据的方法。P3D是啥见链接