论文笔记：Cross-Modulation Networks For Few-Shot Learning

这两天读完的一篇论文,Universitat Autònoma de Barcelona和Google Brain对小样本学习的研究,已被NIPS 2018 Workshop on Meta-Learning接收。其中的研究思路值得mark学习下。论文不长，除去引用和实验表格和图片,内容才3页，所以能很快读完。但里面涉及到许多概念需要补其他论文，所以需要一定时间理解，以下简单总结整理：

摘要

简单总结介绍了下元学习的几个流派：

• 学习一个好的模型参数初始位置，以便能够快速更新到新模型
• 学习一个好的映射空间，通过距离来做预测（即基于度量的学习）
• 学习一个不依赖大量数据梯度下降就能更新模型的优化器
• 学习一个采用记忆等额外模块的新模型

而作者在基于度量的学习的模型基础上，通过Cross-Modulation方法将每个抽象级别的support and query examples 整合，来达到更好的预测表现。

方法

论文的核心方法是将Feature-wise Linear Modulation（FiLM）方法引入到度量学习中，关于FiLM的思想和具体实现可查阅原论文，这里就简单介绍下。
FiLM 将一种条件决定的面向特征的仿射变换(缩放平移)引入网络结构中，其仿射变换的参数有输入样本经过一定函数变换得到，如下图中一个视觉推理的例子。向GRU输入推理问题的自然语言，输出仿射变换的参数，然后作用到每个ResBlock中。相当于让GRU对CNN网络产生作用，并且这个作用是跟提出问题的自然语言信息有关，起到了类似“推理”的效果。