LEARNING TO BALANCE: BAYESIAN META-LEARNING FOR IMBALANCED AND OUT-OF-DISTRIBUTION TASKS论文解读

LEARNING TO BALANCE: BAYESIAN META-LEARNING FOR IMBALANCED AND OUT-OF-DISTRIBUTION TASKS论文解读

背景知识

meta-learning

智能的一个关键方面是多功能性——做许多不同事情的能力。当前的AI系统可以做到精通于某一项技能，但是，如果我们要求AI系统执行各种看似简单的问题（用同一个模型去解决不同问题），它将会变得十分困难。相反，人类可以明智地利用以往经验并采取行动以适应各种新的情况。因此我们希望 agent 能够像人类一样利用以往经验来解决新的问题，而不是将解决新问题的方法从头学起。Learning to learn 或者 meta-larning 是朝这个方向发展的关键一步，它们可以在其生命周期内不断学习各种任务。
元学习通常被用在：优化超参数和神经网络、探索好的网络结构、小样本图像识别和快速强化学习等。
以 MAML 为例介绍元学习一些相关概念
MAML 的思路就是直接针对初始表示进行优化，其中这种初始表示可以通过少量示例进行有效地调整。像其他 meta-learning 方法一样，MAML 也是通过许多 tasks 进行训练，训练所得表征可以通过很少梯度迭代就能适应新任务。MAML 试图寻找这样一种初始化，不仅有效适用不同任务，而且要快速适应（仅需要几步）和有效适应（只使用很少样例）。观看下图，假设我们正在寻找一组有很强适应性的参数 θ 。在元学习过程中（实线部分），MAML 针对一组参数进行优化，以使得对特定任务 i （灰线部分）采取梯度步骤时，这些参数可以接近最佳参数 θ∗i 。

1. N-way K-shot：这是 few-shot learning 中常见的实验设置，N-way 指训练数据中有 N 个类别，K-shot 指每个类别下有 K 个被标记数据。

2. model-agnostic：即指模型无关。MAML 相当于一个框架，提供一个 meta learner 用于训练 learner。meta-learner 是 MAML 的精髓所在，用于 learning to learn；而 learner 则是在目标数据集上被训练，并实际用于预测任务的真正数学模型。绝大多数深度学习模型都可以作为 learner 无缝嵌入 MAML 中，MAML 甚至也可以用于强化学习中，这就是 MAML 中模型无关的含义。

3. task：这在 MAML 中是一个很重要的概念。我们首先需要了解的概念：Dmeta−train,Dmeta−test，support set，query set，meta-train classes，meta-test classes等等。假设一个这样的场景：我们需要利用 MAML 训练一个数学模型 Mfine−tune，目的是对未知标签图片做分类，类别包括P1∼P5（每类有 5 个已标注样本用于训练，另外 15 个已标注样本用于测试）。我们的训练数据除了 P1∼P5 中已标注的样本外，还包括另外 10 个类别的图片 C1∼C10（每类有 30 个已标注样本），用于帮助训练元学习模型 Mmeta。

此时， C1∼C10 即为 meta-train classes， C1∼C10 包含的 300 个样本即为 Dmeta−train，作为训练 Mmeta 的数据集。与此相对， P1∼P5 即为 meta-test classes， P1∼P5 包含的 100 个样本即为 Dmeta−test，作为训练和测试 Mfine−tune 的数据集。

我们的实验设置为5-way 5-shot，因此在 Mmeta 阶段，我们从 C1∼C10 中随机选取 5 个类别，每个类别再随机选取 20 个已标注样本，组成一个 Task T，其中的 5 个已标注样本称为 T 的 support set，另外 15 个样本称为 T 的 query set。这个 Task T 相当于普通深度学习模型训练过程的一个数据，因此我们需要反复在训练数据分布中抽取若干个 T 组成 batch ，才能使用随机梯度下降 SGD。
具体请参考 https://www.cnblogs.com/xxxxxxxxx/p/11695044.html

variational inference 变分推断

首先，我们的原始目标是，需要根据已有数据推断需要的分布p；当p不容易表达，不能直接求解时，可以尝试用变分推断的方法， 即，寻找容易表达和求解的分布q，当q和p的差距很小的时候，q就可以作为p的近似分布，成为输出结果了。在这个过程中，我们的关键点转变了，从“求分布”的推断问题，变成了“缩小距离”的优化问题。
具体请参看 链接：https://www.zhihu.com/question/41765860/answer/331070683

发现的问题

Class imbalance

对比MAML 模型 ，该模型无法解决对于每一个task 的类目数目不均匀问题。

Task imbalance

在meta-learning中，每一个task的权值应该是根据实际情况自动调整的，但是显示是大部分都做不到。

Out-of-distribution tasks

在学习后，对于分布以外的数据的分析和解决能力待提提升。

如何解决问题

问题定义

在原始MAML结构基础上加入三组参数，分别对应三组不同的问题，以解决上面三个问题.

休整后变成公式四的形式，此式 后验概率很难计算，所以引用VARIATIONAL INFERENCE 去解决，这里是纯数学推导，，感兴趣的可以参看原论文。

最终如上7式的损失函数。

模型构建

目的，构建一个encoder去解决问题，并包含所有的参数。

通过2层cnn，并通过一些特殊处理，使用多task多class数据进行训练得到需要的三组参数和global参数，后进行预测。

试验

说明 模型在训练集上的表现高于其他模型，同时在OOD数据上表现优势更加明显。

总结

本篇新东西多，借鉴了MAML模型，考虑三种不利的因素后，加入三组参数重构MAML模型，但建模后，发现不好解决，遂采用变分推断进行生成解决原问题，该生成模型使用cnn去建模，最后通过试验去验证作者的想法。
本问借鉴的地方有 2 ：
1.ood的试验可以有新的思路
2.在解决ood问题时构建模型，可以采用文章中的思路

参考

https://www.zhihu.com/question/264595128
https://www.cnblogs.com/xxxxxxxxx/p/11695044.html
https://blog.csdn.net/weixin_34247032/article/details/85962356