论文阅读笔记《Large Margin Few-Shot Learning》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文提出一种基于度量学习的小样本学习算法（L-GNN，L-PN），其思想与上篇文章《Deep Triplet Ranking Networks for One-Shot Recognition》非常相似，就是提出一种三元损失函数，来引导网络拉近类内距离，增加类间距离。算法的思想如下图所示

图(a)显示了不带有Large Margin损失函数训练的到的分类器结果，可以看到黄色类别样本和蓝色类别样本之间的距离非常接近，而且查询样本（蓝色十字）距离黄色类别的样本更近，因此会被误分类为黄色类别。而图(b)显示了带有Large Margin损失函数的训练结果，不同颜色的类别样本在空间中的距离被明显拉开，且查询样本要更接近蓝色类别样本。本文设计的三元损失函数如下

$x_i^a$表示锚点样本（anchor sample）,而$x_i^p$表示该锚点样本对应的正向样本（同类别样本），$x_i^n$表示该锚点样本对应的负向样本（不同类别样本），m表示超参数，$(x_i^a,x_i^p,x_i^n)$就构成了一个三元组。上式表示希望减少$x_i^a$和$x_i^p$之间的距离，而增大$x_i^a$和$x_i^n$之间的距离。上式还可以写成如下的形式

$S_s$表示与$x_i$来自同一类别的样本集，$S_d$表示与$x_i$来自不同类别的样本集。对上式计算梯度可得

可以看到梯度中包含两项，第一项式将样本与同类别中心$c_s$之间的距离拉近，而第二项式将样本与其他类别中心$c_d$之间的距离推远，如图（c）中所展示的效果。
  作者将该损失函数与GNN算法和PN算法相结合，得到了超越原算法的分类效果。

实现过程

网络结构

  与结合算法的结构相同

损失函数

  

创新点

• 提出一种三元损失函数

算法评价

  文章整体的思路与《Deep Triplet Ranking Networks for One-Shot Recognition》实在是太像了，都是设计了三元损失函数，用于引导特征网络的训练，拉近同类样本之间的距离，增大不同类样本之间的距离，说明这一思想得到了非常广泛的关注和研究，是解决小样本分类问题的关键之一。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。