ICLR18 - Meta-learning for semi-supervised few-shot classification

Ren MY, Triantafillou E, Ravi S, et al. Meta-learning for semi-supervised few-shot classification. ICLR 2018.

本文提出了三种原型网络的变体，表现超过了原来的原型网络。

变体1： Prototypical networks with soft k-means

我们不仅有 support set、query set，而且还有一个 unlabeled set。先用 support set 初始化每个类的原型（中心），然后再给 unlabeled set 打上软标签，再重新计算每个类的原型。

类似 k-means 一样，多步迭代，直到中心位置不变。

变体2：Prototypical networks with soft k-means with a distractor cluster

变体1会出现一个现实问题：我们想加一个 unlabeled set，但是去网上下载的图片不可能全是我们想要的这些类别，会出现一些错误样本，对模型造成很大影响。

一个简单的方法就是增加一个错误簇，将这些有问题的样本全部放到这个簇里面，防止它们污染好的分类。

有点像 O 类别，O 类别同样噪音很多，但是通常研究者不会计算 O 的原型。

原型初始化：
$$p_c=\{\begin{array}{ll}\frac{{\sum }_{i}h\left({\mathbf{x}}_i\right)z_{i,c}}{{\sum }_i{z}_{i,c}}& \text{ for }c=1\dots N\\ 0& \text{ for }c=N+1\end{array}$$

在相似性度量的时候，再加一个距离尺度变量 $r_c$，其他簇的距离尺度设置为1，错误簇的距离尺度用来学习：
$${\tilde{z}}_{j,c}=\frac{\exp \left(-\frac{1}{r_c^2}{\Vert {\tilde{x}}_j-p_c\Vert }_2^2-A\left(r_c\right)\right)}{{\sum }_{c^{\prime }}\exp \left(-\frac{1}{r_c^2}{\Vert {\tilde{x}}_j-p_{c^{\prime }}\Vert }_2^2-A\left(r_{c^{\prime }}\right)\right)},\text{ where }A(r)=\frac{1}{2}\log (2\pi )+\log (r)$$

变体3：Prototypical networks with soft k-means and masking

变体2想法过于简单，错误簇可能包含的错误样本并可能不是同一个类别，将它们放到一起并不合适。那么这个变体将错误簇去掉了，用另一种方式，选择性的将 unlabeled sample 加入到簇中。

首先还是一样，用 support set 计算每个类的原型 $p_c$。对于一个 unlabeled sample，计算 sample 到每个原型的距离 ${\tilde{d}}_{j,c}$：
$${\tilde{d}}_{j,c}=\frac{d_{j,c}}{\frac{1}{M}{\sum }_j{d}_{j,c}},\text{ where }{d}_{j,c}={\Vert h\left({\tilde{x}}_j\right)-p_c\Vert }_2^2$$

然后将 ${\tilde{d}}_{j,c}$ 放入到一个MLP（masked language model）中，计算make的阈值 ${\beta }_c$ 和斜率 ${\gamma }_c$：
$$\left[{\beta }_c,{\gamma }_c\right]=\mathrm{MLP}\left(\left[\underset{j}{\min }\left({\tilde{d}}_{j,c}\right),\underset{j}{\max }\left({\tilde{d}}_{j,c}\right),{\mathrm{var}}_j\left({\tilde{d}}_{j,c}\right),{\mathrm{skew}}_j\left({\tilde{d}}_{j,c}\right),{\mathrm{kurt}}_j\left({\tilde{d}}_{j,c}\right)\right]\right)$$

最后根据阈值和斜率，计算 mask 概率，然后重新更新原型，$\sigma ()$是 sigmoid 函数。
$${\tilde{p}}_c=\frac{{\sum }_{i}h\left({\mathbf{x}}_i\right)z_{i,c}+{\sum }_{j}h\left({\tilde{\mathbf{x}}}_j\right){\tilde{z}}_{j,c}{m}_{j,c}}{{\sum }_i{z}_{i,c}+{\sum }_j{\tilde{z}}_{j,c}{m}_{j,c}},\text{ where }{m}_{j,c}=\sigma \left(-{\gamma }_c\left({\tilde{d}}_{j,c}-{\beta }_c\right)\right)$$

结果

• Supervised：原始的原型网络
• Semi-Supervised Inference：带有 soft k-means的原型网络，但是只迭代一次计算中心
  
  
  实验结果可以看到，效果都超出原来的原型网络。