最近在看NASNet,但是NASNet是基于NAS来的,于是还得先看NAS的论文,学习过程中看到几篇好的文章,mark下
论文笔记NAS
NAS综述
NAS详解
NASNet论文理解
NASNet详解
解读NASNet
NASNet
NASNet学习笔记
NASNet
NASNet论文笔记
但觉得还是自己总结下,才能更好地消化。
背景
NASNet网络的提出源于Learning Transferable Architectures for Scalable Image Recognition,这篇文章是由Google Brain的大佬们Barret Zoph, Vijay Vasidevan, Jonathon Shlens, Quoc V.Le发表的,开源了源码。它是NAS(Neural Architecture Search)的升级版。
NAS讲的是利用强化学习(Reinforcement Learning)来学习一个好的网络结构,具体讲就是利用RNN来生成神经网络模型的描述,然后使用强化学习来训练这个RNN,使得生成的神经网络模型精度最大化。
但是用NAS进行计算的代价是相当昂贵的,仅仅在CIFA