VALSE学习（十五）：网络搜索结构-NAS

VALSE2019

一、NAS(Nueral Architecture Search): 未来之匙，大有可为

以深度学习为基础的各种算法实现了自动从数据中提取特征，逐步改变了传统算法手工设计特征的局面。然而，目前的神经网络设计仍然需要领域内专家花费很长时间才能进行设计调整才能得到高效精巧的模型。神经网络结构搜索实现了自动化结构搜索以及权重调整。

 

目前NAS发展仍然处于初级阶段，但其对于未来神经网络设计的研究是具有重大影响的。来自美国约翰霍普金斯大学的谢凌曦提出神经网络搜索所处的研究阶段大致相当于2011年前神经网络研究相同，目前没有一个处于绝对统治地位的实现方式。另外，受限于数据集，目前的NAS研究仍然使用传统的CIFAR10，CIFAR100抑或ImageNet 数据集进行训练，这在某种程度上限制了下一代神经网络设计所能达到的效果。如何设计适应于NAS研究所使用的数据集是一个亟需解决的开放的研究话题。另外，谢凌曦组针对目前NAS训练时间长，需要使用小数据集作为Proxy的缺陷，他们在DARTS上进行改进，提过了多阶段逐步加深的训练方法，使用了搜索空间近似以及搜索空间约束等方法，使用了大大减少了模型搜索的时间。

 

来自旷视的张祥雨则从实际工业应用出发，针对在模型部署阶段关于模型复杂度以及计算效率的要求出发，讲解了旷视在高效轻量级深度模型领域的研究成果，从ShuffleNet到ShuffleNet V2的设计，然后到Single Path One- Shot Neural Architecture Search with Uniform Sampling在NAS领域的探索。张提出产品线上有很多对于模型在不同设备上进行模型适配的的需求，NAS可以作为一种新型的模型适配方案，将部署设备的运算能力等特性作为NAS搜索等限制条件来搜索高效的网络模型，实现精度，效率以及灵活性的权衡。

 

众所周知，2015年提出的ResNet目前已经被广泛使用在分类，检测，分割等各个方向当中。在深度学习模型设计的Panel时间，张翔雨分享了在设计ResNet的历程。ResNet的设计源于对于GoogleNet的研究。在GoogleNet的论文中，作者将网络的取得的效果归功于不同大小的卷积核所提取的多尺度特征。而张等人在研究过程中发现，在删除不同大小卷积核的对比实验中，卷积核的影响是非常大的，这成为了他们设计shortcut的灵感来源。而他们关于GoogleNet的研究前前后后持续了一年左右。考虑到目前NAS所搜索出网络所达到的结果和时间，这进一步让我们更加期待NAS的未来。