本文提出TADAM，一种任务依赖的度量学习方法，用于优化少样本学习。通过动态调整度量尺度和使用任务依赖的特征提取，TADAM减少了欧式距离和余弦相似度之间的差距，提高了模型的泛化能力。同时，通过辅助任务的协同训练，解决了任务条件学习的困难，提升了模型的训练效果。
本文基于度量学习，发现简单的度量尺度会完全改变少样本学习参数更新的本质，同时提出了一个简单且有效的任务依赖的度量空间学习方法，可以根据不同的任务进行特征提取。通过度量缩放的方式，作者将余弦相似度与欧拉距离在少样本学习上的差距缩小了10%，也就是说度量的选择没有那么重要。另外，还提出了辅助任务协同训练，使得具有任务依赖性的特征提取更容易训练，并且具有很好的泛化能力
背景
考虑episodic形式的K-shot，C-way的分类问题
- sample(support) set S = { ( x i , y i ) } i = 1 K C \mathcal{S}=\{(x_i,y_i)\}_{i=1}^{KC} S={ (xi,yi)}i=1KC，样本集，C类每类K个样本
- query set Q = ( x i , y i ) i = 1 q \mathcal{Q}={(x_i,y_i)}_{i=1}^q Q=(xi,yi)i=1q，待分类样本
- 相似度度量d： R 2 D z → R \mathbb{R}^{2D_z} \rightarrow\mathbb{R} R2Dz→R，d不需要满足一般度量的性质(非负，对称，可加性)，Dz表示特征提取后的维度， f ϕ : R D x → r D z f_{\phi}:\mathbb{R}^{D_x}\rightarrow\mathbb{r}^{D_z} fϕ:RDx→rDz
- 为属于 S k \mathcal{S_k} Sk每一个类别k中的所有样本找到一个唯一的特征表示 c k c_k ck， c k = 1 K ∑ x i ∈ S k f ϕ ( x i ) c_k=\frac{1}{K}\sum_{x_i\in S_k}f_{\phi}(x_i) ck=K1∑xi∈Skfϕ(
最低0.47元/天 解锁文章
615
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
