论文阅读笔记《Learning Compositional Representations for Few-Shot Recognition》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文提出一种基于语义信息的小样本学习算法（comp），作者的想法就是利用目标物体的属性描述特征作为一种信息的补充，通过增加损失函数中的正则化项，来增强图像特整提取网络的表征能力，由此提高小样本学习的效果。比如对于一只鸟，它的属性描述特征就包含羽毛的形式，翅膀的颜色，胸口的颜色等等，有些时候甚至只需要知道关键属性的描述特征就能推断出这个鸟的种类了。

如图（a）所示，图片$x_i$经过CNN特征提取网络$f_{\theta }$，得到对应的图像表征$f_{\theta }(x_i)$。假设整个属性集为$D_0$，则对于图像$x_i$其包含的属性$D(x_i)$就是$D_0$的一个子集，${\hat{f}}_{\eta }$表示属性特征提取网络（一个全连接层），则图像表征可以用属性表征来定义

这一过程如图(b)所示，为了同时提高图像特征提取网络和属性特征提取网络的性能，我们可以在损失函数中增加一个硬约束，使得二者之间尽可能地相似

式中$\sigma$表示距离度量函数，但这个约束太过于强硬了，他有一个基础假设，就是属性表征能够完整地描述图像表征。这是很难实现的要求，比如我们的属性表征描述了鸟的翅膀颜色，羽毛形式、胸口颜色等特征，但鸟的图像特征还包括嘴巴的形状，眼睛的颜色等等特征。因此作者又提出一种更加宽松的软约束，允许图像表征中包含属性表征中没有的特征，将图像表征定义为

式中$w(x_i)$就表示图像表征中包含的，但属性表征中不包含的部分特征信息。进而约束可以表示为

上式中用内积的形式来表达二者之间的相似性，第一项是希望对于属性表征中不包含的特征，图像表征和属性表征之间的相似性要尽可能小；第二项则是希望对于属性表征中包含的特征，二者之间的相似性要尽可能大，这个过程如图（c）所示。最后，作者发现很多属性之间是存在相关性的，为了降低各个属性表征之间的相关性，我们希望属性特征提取网络的参数$\eta$能尽可能满足正交属性，这样每个特征向量之间都是线性无关的了，因此又增加了正交约束，整个损失函数如下

第一项是分类损失采用交叉熵损失函数，第二项就是前面提到的软约束，第三项就是正交约束。作者利用该损失函数对网络进行训练，提高特征提取网络的表征能力，从而改善小样本学习的效果。值得注意的是，在测试时是不需要输入属性描述信息的，只需要输入图像信息，这也符合实际的应用需求。

实现过程

网络结构

  图像特整提取网络采用ResNet-10结构，属性特征提取网络采用一层全连接层，分类器采用一个全连接层+余弦分类器。

损失函数

  如上文所述。

训练策略

  训练中最大的问题就是大部分数据集并没有属性描述标签。本文选择了CUB-200，SUN和miniImageNet三个数据集，其中CUB-200带有相应的属性描述标签，SUN有其他文章公开了相应的属性描述标签。作者对这两个数据集的属性标签做了处理，首先是合并属性，就是将对每幅图像的属性描述合并到对一个类别图像的属性描述，对于同一个类别的图像其属性描述是相同的。其次是对一些低频率的属性描述进行了过滤。而miniImageNet是没有现成的属性描述标签可以用的，因此需要自己制作，作者利用WordNet对所有的描述进行了分级，首先定义每一个级别的描述词汇，对于所有物体都包含大小和材料这两个属性，而对于更高级别的哺乳动物类就包含腿和眼睛这两个属性。然后按照层级进行属性描述，也就是需要人工进行标记。

创新点

• 将图像表征分解为多个属性表征，并通过增加损失函数约束的方式来提高特征提取网络的表征能力
• 设计了一种分级属性描述标注方式。

算法评价

  本文的思想还是很直观，符合人类思维方式的，就是我们在认识一个新的物体时，通常会把它分成几部分属性特征。这在我们进行细粒度分类时，表现得更加明显，比如我们去区分一只鸟和一头熊，可能不会关注他每个部分的特征，但当我们识别一只鸟是乌鸦还是乌鸫时，我们必须要根据局部的属性描述来区分（如鸟喙的颜色）。但本文和许多基于语义或属性信息的算法一样，还是没能找到如何将属性描述特征与图像特征有效结合的方法，无论是特征向量的相加，还是点乘求内积，其实都是把这种特征结合寄托于训练过程，这在小样本条件下，无疑是过于苛刻的要求。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。