论文笔记：Cross-Modulation Networks For Few-Shot Learning

最新推荐文章于 2024-05-17 14:00:34 发布

Learn2Learn

最新推荐文章于 2024-05-17 14:00:34 发布

阅读量1.2k

点赞数

分类专栏： read some paper

本文链接：https://blog.csdn.net/u014767662/article/details/85158531

版权

这篇论文介绍了如何在基于度量的小样本学习中使用Cross-Modulation方法，结合Feature-wise Linear Modulation（FiLM）以提升预测性能。通过对支持集和查询集的中间信息进行整合，作者展示了这种方法在miniImageNet上的精度改进，并通过实验验证了其有效性。文章强调，元学习研究应借鉴其他成熟领域的经验。

摘要由CSDN通过智能技术生成

这两天读完的一篇论文,Universitat Autònoma de Barcelona和Google Brain对小样本学习的研究,已被NIPS 2018 Workshop on Meta-Learning接收。其中的研究思路值得mark学习下。论文不长，除去引用和实验表格和图片,内容才3页，所以能很快读完。但里面涉及到许多概念需要补其他论文，所以需要一定时间理解，以下简单总结整理：

摘要

简单总结介绍了下元学习的几个流派：

学习一个好的模型参数初始位置，以便能够快速更新到新模型
学习一个好的映射空间，通过距离来做预测（即基于度量的学习）
学习一个不依赖大量数据梯度下降就能更新模型的优化器
学习一个采用记忆等额外模块的新模型

而作者在基于度量的学习的模型基础上，通过Cross-Modulation方法将每个抽象级别的support and query examples 整合，来达到更好的预测表现。

方法

论文的核心方法是将Feature-wise Linear Modulation（FiLM）方法引入到度量学习中，关于FiLM的思想和具体实现可查阅原论文，这里就简单介绍下。
FiLM 将一种条件决定的面向特征的仿射变换(缩放平移)引入网络结构中，其仿射变换的参数有输入样本经过一定函数变换得到，如下图中一个视觉推理的例子。向GRU输入推理问题的自然语言，输出仿射变换的参数，然后作用到每个ResBlock中。相当于让GRU对CNN网络产生作用，并且这个作用是跟提出问题的自然语言信息有关，起到了类似“推理”的效果。