论文阅读笔记《Auto-Meta: Automated Gradient Based Meta Learner Search》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文提出一种基于NAS的小样本学习算法（Auto-Meta），基本思路就是将NAS算法PNAS和元学习算法Reptile相结合。首先将网络结构固定住，利用Reptile算法训练网络参数；然后基于几个效果较好的网络结构，再去搜索更复杂的结构；最后反复重复上述两个步骤，直到搜索到最优的网络结构和网络参数，训练的目标函数如下

其中$\theta$表示网络参数，$A$表示网络结构，$U$表示网络参数更新算法，本文采用Reptile算法，相对于MAML算法，Reptile算法利用一阶梯度进行近似计算，大大简化了梯度计算的复杂度。在网络结构搜索（NAS）方面本文采用了Progressive Neural Architecture Search（PNAS）算法，PNAS算法将神经网络结构抽象成三个层次：块（block），单元（cell）和网络（network）。一个单元中至多有B个块，每个块表示应用于两个输入的操作运算符的组合，多个单元堆叠起来构成一个完整的网络。经过训练搜索得到的单元结构如下图所示

创新点

• 结合PNAS和Reptile算法，利用NAS方法解决小样本学习问题

算法评价

  本文应该是最早使用NAS算法解决小样本学习问题的文章，正如作者所说相比于MAML和Reptile等元学习算法采用任意的网络结构，NAS算法能够找到更加精细的，适当的网络结构，以更少的网络参数，实现更好的效果，所以我认为NAS的确是元学习算法中一个非常有潜力的方向。本文正文一共只有4页，内容也介绍的非常精炼，因此我也没有更多的解读了。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。