本文基于度量学习,发现简单的度量尺度会完全改变少样本学习参数更新的本质,同时提出了一个简单且有效的任务依赖的度量空间学习方法,可以根据不同的任务进行特征提取。通过度量缩放的方式,作者将余弦相似度与欧拉距离在少样本学习上的差距缩小了10%,也就是说度量的选择没有那么重要。另外,还提出了辅助任务协同训练,使得具有任务依赖性的特征提取更容易训练,并且具有很好的泛化能力
背景
考虑episodic形式的K-shot,C-way的分类问题
- sample(support) set S = { ( x i , y i ) } i = 1 K C \mathcal{S}=\{(x_i,y_i)\}_{i=1}^{KC} S={ (xi,yi)}i=1KC,样本集,C类每类K个样本
- query set Q = ( x i , y i ) i = 1 q \mathcal{Q}={(x_i,y_i)}_{i=1}^q Q=(xi,yi)i=1q,待分类样本
- 相似度度量d: R 2 D z → R \mathbb{R}^{2D_z} \rightarrow\mathbb{R} R2Dz→R,d不需要满足一般度量的性质(非负,对称,可加性),Dz表示特征提取后的维度, f ϕ : R D x → r D z f_{\phi}:\mathbb{R}^{D_x}\rightarrow\mathbb{r}^{D_z} fϕ:RDx→rDz
- 为属于 S k \mathcal{S_k} Sk每一个类别k中的所有样本找到一个唯一的特征表示 c k c_k ck, c k = 1 K ∑ x i ∈ S k f ϕ ( x i ) c_k=\frac{1}{K}\sum_{x_i\in S_k}f_{\phi}(x_i) ck=K1∑xi∈Skfϕ(