Fast and Flexible Multi-Task Classification Using Conditional Neural Adaptive Processes 论文笔记

前言

通用图像分类系统设计元学习和小样本学习，现有的一些研究通常会考虑在训练和测试时进行均匀的任务分配，因此网络在处理新任务时只需进行很小的调整。本文设计了一个完全自适应的系统，以应对不同的任务分配情况，该系统需要在模型和训练过程中进行特定的设计选择。

现有的用元学习和小样本学习来处理图像分类的方法具有两个基本的trade-off：

1. 适应每个任务的参数数量。一种方法仅调整分类器的head中的参数，而特征提取器的参数保持不变，这种方法虽然简单实用，但当任务分配是异构的情况下，会发生欠拟合；另一种方法就是调整特征提取器中的所有参数，以提高拟合能力，但会增加计算成本，并且在low-shot情况下会发生过拟合。因此，需要确保模型的拟合能力和自适应可靠性之间的平衡。
2. 自适应机制。在基于梯度的自适应方法中，虽然可以灵活地整合训练数据，但在测试时计算效率底下，可能需要对优化过程进行调整，并且容易发生过拟合；另一种方法是，使用函数逼近器（function approximators）将训练数据直接映射到所需参数，这样就产生了固定成本的自适应机制，但如果函数逼近不够灵活，可能会发生欠拟合。

本文提出了一种针对这两个trade-off的模型类（model class），称为Conditional Neural Adaptive Processes (CNAPS)，CNAPs直接对所需的预测分布进行建模，从而引入CNPs方法来处理多任务分类。CNAPs可以处理不同方式的分类任务，并引入了参数化和训练过程，使得模型能够在测试时学习适应不同分类任务的特征表示。CNAPs利用了两方面的内容：

1. 具有共享全局参数和少量特定任务参数的分类模型。实验证明，通过识别少量关键参数，模型可以在灵活性和鲁棒性之间达到平衡；
2. 一个丰富的自适应神经网络，具有自回归参数化（auto-regressive parameterization）功能，能够避免欠拟合，并且在实际中使用现有数据集很容易进行训练。

---

模型设计

假设有大量的训练任务，每个任务都包含一组输入$x$和标签$y$。具体来说，任务$\tau$包含一个context set D τ = { ( x n τ , y n τ ) } n = 1 N τ D^{\tau}=\lbrace (x^{\tau}_{n},y^{\tau}_{n}) \rbrace ^{N_{\tau}}_{n=1} Dτ={ (xnτ​,ynτ​)}n=1Nτ​​，其中$x_n^{\tau }$和$y_n^{\tau }$分别是输入和输出；除此之外，任务$\tau$还包含一个target set { ( x m τ ∗ , y n τ ∗ ) } m = 1 M τ \lbrace (x^{\tau *}_m,y^{\tau *}_n) \rbrace ^{M_{\tau}}_{m=1} { (xmτ∗​,ynτ∗​)}m=1Mτ​​，其中$y_n^{\tau \ast }$是预测值。那么给定$x^{\ast }$，CNPs构建的预测分布为：

其中$\theta$是全局的分类器参数，在任务之间共享。${\psi }^{\tau }$是局部的特定于任务的参数，由函数${\psi }_{\varphi }(\cdot )$生成。而${\psi }_{\varphi }$