NAS

最近在看NAS相关的资料，记录下个人的一些理解和看法。

之前更关注的是基于不同的任务设计有针对性的模型，刚开始接触NAS，发现大部分的NAS方法都是在cifar和imagenet数据集上进行的分类实验，后面看到有在分割任务上的一些改进应用，比起人工设计的复杂模型，NAS搜索到的结构可以说是比较简单了，而且是对global的特征进行提取，相对于某些领域关注local特征的挖掘，一个直观的想法是NSA可能达不到人工设计结构的表现，通过实验在其他的任务上简单的测试了下，结果发现并不是这样的额，NAS得到的结构简单，速度上也比较快，而且表现出比普通的结构甚至人工设计的复杂结构要好的结果，加上适当的调整应该可以轻松超过人工设计的结构。

反思自己之前关于global和local的想法，现在很多人工设计的模型还是很难解释网络结构的有效性。刚接触深度学习的时候，的确会倾向于将深度模型当黑盒子，而人工设计的模型很多时候是认为简单的结构学习不到核心的特征。有趣的是，NAS的出现再一次的将深度模型的强大展示在大家面前，促使许多研究人员开始关注深度模型的可解释性，人工设计的模型有时候看起来复杂庞大，是人们在探索深度模型过程中的积累，因此NAS得到的机构也存在人工设计的模型的影子，但加持了自动化后已经取得了一定的成效，从最开始需要许多的资源来搜索到结构，到现在可以依靠一个gpu在短时内搜索到一个好用的结构，NAS这个领域开始引起了许多学术界和工业界的关注，而目前NAS的搜索空间还是相对较小较简单的，可以想象经过足够时间的发展之后，NAS还是很有希望结束人工设计模型的过程，到时候感觉算法工程师的饭碗要不保了。当然以上只是我的一些个人看法，附上最近看的一些相关的论文，对写博客还是小白的我，论文笔记啥的就不整了

Neural Architecture Search: A Survey

DARTS: Differentiable Architecture Search

Progressive Neural Architecture Search

Efficient Neural Architecture Search via Parameter Sharing

Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation

UNDERSTANDING ARCHITECTURES LEARNT BY CELL-BASED NEURAL ARCHITECTURE SEARCH

Neural Architecture Optimization