联邦元学习（Federated meta learning）学习笔记

最近在研究联邦学习，又转到个性化领域，研究了联邦元学习，打算把最近学的东西总结一下。感觉元学习对于我这种基础不扎实的萌新来说有点难，到目前也才搞懂了MAML/(ㄒoㄒ)/~~

联邦学习(FL)

联邦学习(federated learning)，只需要记住一句话：数据不动模型动，服务器将模型参数发给用户，用户本地训练完后返回更新后的参数，如此重复若干轮次。

元学习

可以看李宏毅老师的视频讲解，本文配图均来自该视频
引用论文MAML中的一句话介绍元学习：

The goal of meta-learning is to train a model on a variety of learning tasks, such that it can solve new learning tasks using only a small number of training samples.

元学习即“学会学习”，一般的机器学习是通过反复训练学会一个模型参数，元学习是学会如何得到模型参数，例如MAML通过一次梯度下降就知道了模型最佳初始参数是什么。元学习大致上可以分类为learning good weight initializations，meta-models that generate the parameters of other models 以及learning transferable optimizers。其中MAML属于第一类。MAML学习一个好的初始化权重，从而在新任务上实现fast adaptation

如上图，传统的机器学习中，模型的初始参数、模型结构、优化算法、学习率等等超参数都需要我们提前设置，每次训练模型都要调参。那我们能不能让机器学会自己调参呢，如果机器看一眼数据集就知道最佳的初始参数是多少，将省去很多计算步骤与样本，这就是MAML

MAML

MAML全称 模型无关元学习，Model-Agnostic