文章目录
Meta-learning：Survey
introduction
- 元学习的先验任务必须是具有一定相似性的任务，才能够有很好的泛化。
- 元数据：用于描述先验任务或者先验模型的数据。可以为：超参设置，网络结构，模型评估的结果(如训练时间或模型准确率)，网络模型参数等。
- 根据元数据类型，本文将元学习方法分成了三类。
- how to learn purely from model evaluation？超参的元学习,从结果的角度评估相似度
- how we can characterize tasks and bulid meta-models?即寻找特征化任务的方法以及计算数据相似度的方法。从特征的角度评估相似度。
- how we can transfer trained model parameters？即迁移模型参数，将具有内在相似性的模型进行训练参数的迁移。即迁移学习and小样本学习。
注: 元学习可以与多任务学习以及集成学习有机的结合在一起。
多任务学习：同时学习多个具有相关性的任务.
集成学习： 为一个任务建立多个模型
多任务学习和集成学习本身并没有从先验知识中学习的步骤。
超参的元学习
假设一个包含所有超参空间 Θ \Theta Θ,任意一个超参配置 θ i ∈ Θ \theta_i ∈ \Theta θi∈Θ。
对于先验任务 t j t_j tj 在以 θ i \theta_i θi为配置的情况下的先验评估为 P i , j P_{i,j} Pi,j
最低0.47元/天 解锁文章
5162
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
