论文阅读笔记《Low-Shot Learning from Imaginary Data》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文提出一种基于数据增强的小样本学习算法，可以对Prototypical Network和Matching Network等算法进行改进。作者的想法非常直接，对于如何合成图像对数据集进行扩充，本文的主旨是合成的图像既不追求真实，又不追求虚拟，而是尽可能满足分类器的需要。具体来讲，就是把图像合成器（hallucinator）与特征提取网络和分类器放到一个网络中，进行端到端的训练。利用分类的损失，引导图像合成器的训练，使其输出能够满足分类需要的图像，整个流程如下图所示。

  首先，从训练集$S_{train}$中采样得到图片$x$，然后将其与随机噪声$z$一起输入到图像合成器$G$中，生成合成图像$x^{\prime }$；将合成图像构成的数据集$S_{train}^G$与原始的训练集$S_{train}$合并起来，构成扩充数据集$S_{train}^{aug}$，对模型进行训练。得到的损失不仅对模型$h$的参数进行更新，同时也对图像合成器$G$的参数进行更新。
  本文提出的图像合成器可以很容易地与Prototypical Network和Matching Network等算法进行结合，不仅如此，作者还在二者的基础上进行改进，提出了Prototype matching networks（PMN）模型。作者指出Matching Network采用的attention LSTM结构不适用于稀有类别，而Prototypical Network不存在这个问题，因为他把类别都压缩为一个原型了。因此作者想结合二者的优势，提出了以下算法

由上式可以看到，在利用AttLSTM进行匹配之前，先对$g(x_i)$按照PN网络中原型计算的方式进行了压缩，这样就避免了MN算法存在的问题，又充分利用了其优势。

实现过程

网络结构

  PN和MN网络结构不再赘述，本文提出的图像合成器就是一个简单的3层MLP。

损失函数

  与PN和MN算法相同。

训练策略

  整个训练过程基本沿用了常见的方法，略有不同的是作者提出可以将“图片属于基础类别还是新类别”作为一种先验知识，引入到类别预测过程中，这样可以提高分类的准确性。

创新点

• 在原有算法的基础上增加了图像合成器，以端到端训练的方式，引导生成器合成出所需要的图像，并利用该图像对原数据集进行扩充，达到数据增强的效果
• 提出PMN模型，充分结合PN和MN算法的优势，并解决了MN算法存在的内部问题

算法评价

  本文算是较早采用数据增强方式的小样本学习算法了，现在看起来其思想和网络结构都非常简单，但许多算法都是受其启发，并在其基础进一步改进而来的，因此本文也具有里程碑式的意义。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。