【论文笔记】PARN: Position-Aware Relation Networks for Few-Shot Learning

 

【title】PARN: Position-Aware Relation Networks for Few-Shot Learning

【link】https://arxiv.org/pdf/1909.04332.pdf

【key words】Few-shot Learning、RelationNetwork、Deformable Conv

Problem

对于人类来说，可以通过已经掌握的知识，快速学会判别新东西。然而现在的深度学习算法往往时数据驱动的，既需要学习大量的样本，才能完成一个新类别的识别。因此，针对训练样本有限，few-shot learning 就成了一种可行的解决方法。

Few-shot learning(FSL)采取episode based的策略来训练网络，每一个episode中包含C*K个训练样本(通常称为support set或是 sample set，其中C代表C个类别，K表示每个类别有K个样本)，还包含C*N个比样本（通常称为query set 或是 bath，在C类中，每类选择剩下的N个样本作为对照测试）。这样也称为C-way K-shot problem。

在每个episode中，FSL网络尽可能学习support set里面的meta-knowledgd(元知识)，这些元知识就像我们学会什么是马，什么时白色，什么黑色，当我门遇到斑马时，就能很快学会区别斑马这个类别，而不需重新训练网络。根据元知识的类别（如特征的元知识，也可以是的网络优化函数，结构等元知识）分为optimization-based(学习怎么能快速优化网络和算法)，memory-based(学习积累和总结经验)，metric-based(学习度量方法)等三种方向

其中，optimization-based是learn a meta-optimizer，通过广泛的学习优化策略，找到较快的能适应新类别的优化结构和算法。memory-based则是在学习旧任务时引入记忆组件来积累经验，在执行新任务时能较好的适用。metric-based 能够以前馈的方式执行新的任务，它通常由一个特征提取器和一个度量模块组成。相对前两种方法，metirc-based 不用更改网络或增加额外的存储部件。文中的方法就是基于metirc-based的。

motivation

在metri-based 方法中，通常包含特征提取模块(feature embedding module)和度量模块(me