LEARNING TO BALANCE: BAYESIAN META-LEARNING FOR IMBALANCED AND OUT-OF-DISTRIBUTION TASKS论文解读
背景知识
meta-learning
智能的一个关键方面是多功能性——做许多不同事情的能力。当前的AI系统可以做到精通于某一项技能,但是,如果我们要求AI系统执行各种看似简单的问题(用同一个模型去解决不同问题),它将会变得十分困难。相反,人类可以明智地利用以往经验并采取行动以适应各种新的情况。因此我们希望 agent 能够像人类一样利用以往经验来解决新的问题,而不是将解决新问题的方法从头学起。Learning to learn 或者 meta-larning 是朝这个方向发展的关键一步,它们可以在其生命周期内不断学习各种任务。
元学习通常被用在:优化超参数和神经网络、探索好的网络结构、小样本图像识别和快速强化学习等。
以 MAML 为例介绍元学习一些相关概念
MAML 的思路就是直接针对初始表示进行优化,其中这种初始表示可以通过少量示例进行有效地调整。像其他 meta-learning 方法一样,MAML 也是通过许多 tasks 进行训练,训练所得表征可以通过很少梯度迭代就能适应新任务。MAML 试图寻找这样一种初始化,不仅有效适用不同任务,而且要快速适应(仅需要几步)和有效适应(只使用很少样例)。观看下图,假设我们正在寻找一组有很强适应性的参数 θ 。在元学习过程中(实线部分),MAML 针对一组参数进行优化,以使得对特定任务 i (灰线部分)采取梯度步骤时,这些参数可以接近最佳参数 θ∗i 。
-
N-way K-shot:这是 few-shot learning 中常见的实验设置,N-way 指训练数据中有 N 个类别,K-shot 指每个类别下有 K 个被标记数据。
-
model-agnostic:即指模型无关。MAML 相当于一个框架,提供一个 meta learner 用于训练 learner。meta-learner 是 MAML 的精髓所在,用于 learning to learn;而 learner 则是在目标数据集上被训练,并实际用于预测任务的真正数学模型。绝大多数深度学习模型都可以作为 learner 无缝嵌入 MAML 中,MAML 甚至也可以用于强化学习中,这就是 MAML 中模型无关的含义。
-
task:这在 MAML 中是一个很重要的概念。我们首先需要了解的概念:Dmeta−train,Dmeta−test,support set,query set,meta-train classes,meta-test classes等等。假设一个这样的场景:我们需要利用 MAML 训练一个数学模型 Mfine−tune,目的是对未知标签图片做分类,类别包括P1∼P5(每类有 5 个已标注样本用于训练,另外 15 个已标注样本用于测试)。我们的训练数据除了 P1∼P5 中已标注的样本外,还包括另外 10 个类别的图片 C1∼C10(每类有 30 个已标注样本),用于帮助训练元学习模型 Mmeta。
此时, C1∼C10 即为 meta-train classes, C1∼C10 包含的 300 个样本即为 Dmeta−train,作为训练 Mmeta 的数据集。与此相对, P1∼P5 即为 meta-test classes, P1∼P5 包含的 100 个样本即为 Dmeta−test,作为训练和测试 Mfine−tune 的数据集。
我们的实验设置为5-way 5-shot,因此在 Mmeta 阶段,我们从 C1∼C10 中随机选取 5 个类别,每个类别再随机选取 20 个已标注样本,组成一个 Task T,其中的 5 个已标注样本称为 T 的 support set,另外 15 个样本称为 T 的 query set。这个 Task T 相当于普通深度学习模型训练过程的一个数据,因此我们需要反复在训练数据分布中抽取若干个 T 组成 batch ,才能使用随机梯度下降 SGD。
具体请参考 https://www.cnblogs.com/xxxxxxxxx/p/11695044.html
variational inference 变分推断
首先,我们的原始目标是,需要根据已有数据推断需要的分布p;当p不容易表达,不能直接求解时,可以尝试用变分推断的方法, 即,寻找容易表达和求解的分布q,当q和p的差距很小的时候,q就可以作为p的近似分布,成为输出结果了。在这个过程中,我们的关键点转变了,从“求分布”的推断问题,变成了“缩小距离”的优化问题。
具体请参看 链接:https://www.zhihu.com/question/41765860/answer/331070683
发现的问题
Class imbalance
对比MAML 模型 ,该模型无法解决对于每一个task 的类目数目不均匀问题。
Task imbalance
在meta-learning中,每一个task的权值应该是根据实际情况自动调整的,但是显示是大部分都做不到。
Out-of-distribution tasks
在学习后,对于分布以外的数据的分析和解决能力待提提升。
如何解决问题
问题定义
在原始MAML结构基础上加入三组参数,分别对应三组不同的问题,以解决上面三个问题.
休整后变成公式四的形式,此式 后验概率很难计算,所以引用VARIATIONAL INFERENCE 去解决,这里是纯数学推导,,感兴趣的可以参看原论文。
最终如上7式的损失函数。
模型构建
目的,构建一个encoder去解决问题,并包含所有的参数。
通过2层cnn,并通过一些特殊处理,使用多task多class数据进行训练得到需要的三组参数和global参数,后进行预测。
试验
说明 模型在训练集上的表现高于其他模型,同时在OOD数据上表现优势更加明显。
总结
本篇新东西多,借鉴了MAML模型,考虑三种不利的因素后,加入三组参数重构MAML模型,但建模后,发现不好解决,遂采用变分推断进行生成解决原问题,该生成模型使用cnn去建模,最后通过试验去验证作者的想法。
本问借鉴的地方有 2 :
1.ood的试验可以有新的思路
2.在解决ood问题时构建模型,可以采用文章中的思路
参考
https://www.zhihu.com/question/264595128
https://www.cnblogs.com/xxxxxxxxx/p/11695044.html
https://blog.csdn.net/weixin_34247032/article/details/85962356