∆-encoder: an effective sample synthesis method for few-shot object recognition论文阅读笔记

摘要：

        本文提出一种基于数据增强的小样本学习算法，利用一个自动编码器（Auto-Encoder，AE）用于寻找同类别不同样本之间的变形（deformations，本文称其为Δ \DeltaΔ），然后在利用其为其他的类别样本生成新样本，最后利用扩充后的数据集训练分类器。

介绍：

       随着深度学习的发展，在分类领域已经超过人类。但是人类擅长从几个示例中学习新的类别。可以推测，人类可能会从类比中学习。也就是说，我们在新的对象中识别出一些潜在语义结构的元素，这些元素存在于其他已经熟悉的类别中，并使用这种结构为新类别构建我们的内部分类器。类似地，在计算机视觉领域，我们假设我们可以使用已知类的大量示例(实例)集(在一些潜在的语义空间中表示)，以便学习从新类的分布中采样，这些新类只给我们一个或几个示例。

Δ-encoder

       学习从类别分布中进行采样。

       训练一个由编码器和解码器组成的网络。编码器学习在同一类的成对示例之间提取可转移的变形，而解码器学习如何将这些变形应用于其他示例，以便学习从新的类别中采样。

我们的生成模型是自动编码器(AE)的变体

Auto-encoder：一个生成模型。

Autoencoder 是一种神经网络，经过训练可以产生与输入非常相似的输出（因此它基本上尝试将其输入复制到其输出），并且由于它不需要任何标签，因此可以对其进行无监督训练。

它包含两个部分：Encoder 和 Decoder

1.Encoder(编码器）：它接受输入 X（可以是图像、词嵌入、视频或音频数据）并产生输出h(其中口通常比×具有更低的维度）。

例如，编码器输入为：100 × 100 的图像 X ，输出 100 x 1（可以是任何大小）的输出 h。在这种情况下，编码器只是压缩图像，使其占据较低维度的空间，在这样做时，我们现在可以看到，与直接存储图像x 相比，可以使用 1/100 的内存来存储h（大小为 100x 1) （虽然这可能会导致一些数据丢失）。这里的h 通常说的是 latent space(潜在空间，模型图上一般用乙 表示。

一个更形象的解释：

让我们想想像 WinRAR 这样的压缩数件，它可用于压缩文件以获得占用较少空间的zip（或rar， .…）文件。编码器就是干这个事，不断的压缩输入。

2.Decoder（解码器）：它将Encoder h 的输出作为输入，并尝试恢复 Encoder 的输入。

例如：h 现在的大小为 100x 1，解码器尝试使用h 恢复原始的 100× 100 图像。我们将训练Decoder 从 h 中获取尽可能多的信息以重构 X。因此，Decoder 的操作类似于在 WinRAR 上执行解压缩。

一句话总结：Encoder做降維，Decoder用来恢复。

Δ-decoder的本质就是将E(X)的含义从表示X的“本质”改变为表示delta，或从Y重构X所需的“附加信息”(来自同一类别的一个观察到的例子)。

作为输入信号X和Y,学会“锚”例子计算附加信息的表示Z = E (X, Y)译码器D为了重建所需的X, Y, Z。 Z的尺寸小,我们确保解码器D不能使用Z为了重建X,我们调整编码器强烈依赖于锚例子Y重建,因此,使所述合成。

我们通过从训练期间看到的类中采样随机对{Xs, Y s}来使用Z的非参数分布(这样Xs和Y s属于同一类别)，并使用训练过的编码器从它们生成Z = E(Xs, Y s)。因此，我们最终得到一组样本{Zi}。在每个一次性实验中，对于一个新的未见的类U，我们提供了一个示例Y U，从中我们使用训练好的生成器模型{D(Zi, Y U)}为类U合成一组样本。

因此，我们最终得到一组样本{Zi}。

在每个一次性实验中，对于一个新的未见的类U，我们提供了一个示例Y U，从中我们使用训练好的生成器模型{D(Zi, Y U)}为类U合成一组样本。最后，我们使用合成的样本来训练线性分类器(一个密集层，然后是softmax)。作为一个简单的扩展，对于k-shot学习，我们重复该过程k次，根据提供的k个示例中的每一个独立地合成样本。