斯坦福教授告诉你：什么是元学习「 CS330 笔记 (三) 」

写在前面

本系列博客为斯坦福大学 Stanford CS330： Multi-Task and Meta-Learning 2019 的学习笔记。博客中出现的图片均为课程演示文档的截图。笔记为课程的内容整理，主要是为了方便自己理解和回顾，若有纰漏和错误，烦请指出，谢谢 ~ 。希望对你有帮助。如需转载，请注明出处。
CS330课程传送门

如果你也好奇什么元学习，好奇为什么要学习元学习，可以先搂一眼这篇元学习课程介绍

上一节：什么是多任务学习?

---

元学习基础

如何理解元学习算法

我们可以从两种角度理解：

• 从结构上来看（Mechanistic view）
  从这个角度理解，将有助于我们实现元学习算法，理解算法的内在结构和机制。

• 从概率模型上来看（Probabilistic view)
  从这个角度理解，将有助于我们直观上概念性的理解算法到底在做什么。以这个角度讲，元学习就是从先前一系列任务中获得经验，然后更有效的解决新问题。

问题引入

先来看有监督学习，从熟悉的模型一步步推导到元学习模型 :
$$\arg \underset{\varphi }{\max }\log p(\varphi |\mathcal{D})\text{\hspace{1em}(1)}$$
$\varphi$: 模型参数
$\mathcal{D}$: 训练数据集，且 D = { ( x 1 ,   y 1 ) , . . . , ( x k ,   y k ) } \mathcal{D}=\{(x_1,\ y_1),...,(x_k,\ y_k)\} D={ (x1​, y1​),...,(xk​, yk​)}，其中$x$为输入（e.g.图片），$y$为标签。

我们其实可以把有监督学习理解为极大似然问题。对于这个目标也就是找能使似然值最大的 $\varphi$。同样，(1)式也可等于：
$$\arg \underset{\varphi }{\max }\log p(\mathcal{D}|\varphi )+\log p(\varphi )\text{\hspace{1em}(2)}$$

此时这个问题就转变为概率问题，该问题即转化为：要最大化在给定参数下出现该数据的概率，同时最大化参数$\varphi$ 的边缘概率。

$p(\mathcal{D}|\varphi )$ : data likelihood
$\log p(\varphi )$ : 正则化因子 (e.g. weight decay which corresponds to putting a Gaussian prior on your weights with a fixed variance)

再将（2）式扩展为以多个数据点表示的形式：
$$\arg \underset{\varphi }{\max }\sum _i\log p(y_i|x_i,\varphi )+\log p(\varphi )\text{\hspace{1em}(3)}$$
此时可以就将上式理解为一个有正则化因子的优化器。

看起来这样也可以，但是，这样做有什么问题呢？：

• 好的模型通常需要大量标注过的数据
• 对于一些任务可能只有很有限的标注数据

如果此时的数据量非常小，即便是有正则化因子，训练结果也很有可能会过拟合。或者也有可能导致模型的表达性不足。这也正是元学习试图解决的主要问题：我们能否在模型中加一些附加数据？

这些数据可能是来自于之前学习到的经验，我们将这些数据称为元训练数据（meta-training data）。

添加元训练数据的目标函数如下：
arg ⁡ max ⁡ ϕ log ⁡ p