Meta-learning原来有这么多用途，一文汇总元学习在5个问题中的应用

如果觉得我的算法分享对你有帮助，欢迎关注我的微信公众号“圆圆的算法笔记”，更多算法笔记和世间万物的学习记录～

在Meta-learning核心思想及近年顶会3个优化方向一文中，我们从meta-learning的基础思想出发，并介绍了MAML经典模型，以及在此基础上最近3年学术界对meta-learning算法本身的不同角度优化。Meta-learning可以理解为是一个工具，它可以应用于很多不同的场景中，利用meta-learning两层优化目标的思路解决特定场景下的问题。本文梳理了业内近几年利用meta-learning解决不同场景问题的顶会论文，涉及meta-learning在域自适应、迁移学习、图学习、正负样本不均衡、知识蒸馏等多个场景的应用，帮助大家更深入的理解meta-learning的本质思想，以及如何在不同问题中应用meta-learning这个工具。

本篇文章的介绍过程中，默认已经理解了meta-learning的核心思想和原理，包括内循环、外循环等概念。如果对这些原理还不熟悉的同学，建议先阅读Meta-learning核心思想及近年顶会3个优化方向一文。

1. 在迁移学习场景中的应用

在迁移学习中，Pretrain-Finetune是一种常用的方式。这种方式的问题在于，经常需要尝试不同的迁移策略来达到最优效果。例如，某一层的参数是迁移还是随机初始化；当pretrain阶段模型和finetune阶段模型模型结构不一致时，pretrain模型某一层的参数应该迁移到finetune模型的哪一层；每层迁移的强度多大等。对这些策略的尝试，会耗费大量时间。

Learning What and Where to Transfer（ICML 2019）中提出基于meta-learning的迁移学习方法，利用meta-learning学习什么样的迁移策略能够达到最优效果。首先，本文的迁移方法采用了FITNETS: HINTS FOR THIN DEEP NETS（ICLR 2015）提出的思路，在finetune阶段通过对target模型参数和pretrain模型参数添加L2正则化损失，来控制target模型的某一层迁移pretrain模型的哪层参数、迁移的强度为多少。针对迁移目标的不同，又分为what to transf