论文精读《Prototypical Networks for Few-shot Learning》

胖迪王

已于 2022-08-12 11:44:03 修改

阅读量1k

点赞数 1

分类专栏：小样本论文精读文章标签：机器学习深度学习人工智能

于 2022-08-11 21:10:41 首次发布

本文链接：https://blog.csdn.net/weixin_58439986/article/details/126289696

版权

小样本论文精读专栏收录该内容

2 篇文章 1 订阅

订阅专栏

论文链接：https://arxiv.org/abs/1703.05175

时间：NIPS2016

最近在读小样本方向的相关论文，想和大家分享一下解决小样本方法之“原型网络”。

背景介绍：

当数据较少时，分类算法在拟合过程中产生过拟合现象，导致分类结构与实际结果存在较大的误差。为了避免出现过拟合现象，作者提出了基于度量学习的元学习---原型网络

例子引入：

对于分类任务，倘若现在有一个包含四个分类的支持集S，其中包含猫咪、小狗、老虎、兔子的图像。还需要一个查询集Q

每个图像通过一个嵌入函数f(x)将图像信息嵌入到一个度量空间中，对图像的信息进行编码。得到每个图像的编码后,对每个类别的所有样本进行均值操作，得到该类别的均值Ck。从查询集Q中选择一张图片x，测量x与C之间的距离，距离越近，就将x归为到哪一个类别。

通过以上的例子了解了原型网络的思想，简单概括为：将支持集的样本通过嵌入函数嵌入，对每个分类下的样本取均值得到该类别的原型 $c_k$ ,测量查询集中的样本与原型 $c_k$ 之间的距离，距离越近就将其归为哪一类。

对于zero-shot Learning而言，每个类别都带有元数据，该元数据包含对该类别的高级描述。zero-shot则是将每个类别的元数据 $v_k$ 通过嵌入函数嵌入到共享空间后，将该元数据 $v_k$ 作为类别的原型 $c_k=g\nu (v_k)$ 。

原理：

1.计算每个类别的原型 $c_k$

其中,嵌入函数 $f_\phi : R^D \rightarrow R^M$ ， $S_k$ 表示每个类别的样本数

2.通过利用欧几里得计算查询集中的样本与原型之间的距离后，并对其进行归一化操作，计算样本x属于某个类别的概率 $p_\phi \left ( y=k|x \right )$ ,这里通过softmax获得分类概率分布计算：

3. 目标损失函数 $J\left ( \phi \right )$ ：

$J(\phi)=-logP_\phi (y=k|x)$

通过梯度下降法使目标损失函数最小化，使其收敛后学习到一个好的 $\phi$ 值。训练结束后映射函数能够将同一类样本映射到很近的距离。

本文的测试场景伪代码如下：

实验结果：

1.Omniglot数据集的few shot Learning

Omniglot数据集参考 (三)Omniglot Dataset介绍_恒友成的博客-CSDN博客_omniglot数据集

上图：展示了在Omniglot数据集上对原型网络与其他的baseline、匹配网络的微调版本和非微调版本的匹配网络对比模型的分类精度。由以上数据显示，原型网络代表最先进的技术

2.miniImageNet数据集的few shot Learning

上图展示了基于欧几里得距离的原型网络、基于余弦距离的匹配网络和Baseline以及元学习LSTM在5-way下的分类精度，说明基于欧几里得距离的原型网络的分类精度高于其他方法

上图展示：对于基于余弦距离和欧几里得距离的网络在5-way和20-way的训练在1-shot和5-shot镜头下的精度。左图，当原型网络和匹配网络在1-shot的镜头下是等同的。右图，随着类别（n-way）的增加，20-way比5-way获得更高的精度，提高分类难度，使模型更好的泛化，使模型在嵌入空间中做出更细粒度的决策。与此同时，欧几里得距离提升了余弦距离的性能。在原型网络中这种差异表现更明显。

3.zero-shot使用原型网络也表现出好的效果