深度强化元学习教程---优化器元学习2/2

优化器元网络推导

在梯度下降算法中，我们通过下面的公式来调整参数：
$${\mathbf{\theta }}_t={\mathbf{\theta }}_{t-1}-{\alpha }_t{\nabla }_{{\mathbf{\theta }}_{t-1}}{\mathcal{L}}_t$$
根据上一节长短时记忆网络的讨论，我们更新Cell记忆时的公式为：
$${\mathbf{C}}_t={\mathbf{f}}_t\otimes {\mathbf{C}}_{t-1}+{\mathbf{i}}_t\otimes {\tilde{\mathbf{C}}}_t$$
我们可以做如下假设：
$$\begin{gathered} {\mathbf{f}}_t=1 \\ {\mathbf{C}}_{t-1}={\mathbf{\theta }}_{t-1} \\ {\mathbf{i}}_t={\alpha }_t \\ \widetilde{{\mathbf{C}}_t}={\nabla }_{{\mathbf{\theta }}_{t-1}}{\mathcal{L}}_t \end{gathered}$$
当我们做上述假设后，梯度下降算法就可以视为长短时记忆网络（LSTM）的Cell更新过程。如果我们把原来做图像分类的网络作为基础网络，用长短时记忆网络（LSTM）做优化器的元网络，LSTM网络中的Cell的状态值即为基础网络的参数，这样就构成了优化器元网络。
我们首先列出长短时记忆网络的公式：
$$\begin{gathered} {\mathbf{f}}_t=\sigma (W_f\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_f) \\ {\mathbf{i}}_t=\sigma (W_i\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_i) \\ {\tilde{\mathbf{C}}}_t=tanh(W_C\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_C) \\ {\mathbf{C}}_t={\mathbf{f}}_t\otimes {\mathbf{C}}_{t-1}+{\mathbf{i}}_t\otimes {\tilde{\mathbf{C}}}_t \\ {\mathbf{o}}_t=\sigma (W_o\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_o) \\ {\mathbf{h}}_t={\mathbf{o}}_t\otimes tanh({\mathbf{C}}_t) \end{gathered}$$
我们首先来看遗忘门的应用，我们在训练深度学习网络中，最难处理的一种情况是我们进入了一个平坦的区域，这时梯度基本为零，对权值的调整将非常非常小，无法进行学习。如果我们利用元网络中的遗忘门，我们可以通过减小参数值，忘记一些之前的记忆来实现从这个平坦的区域内跳出来。此时遗忘门的输入值为：前一时刻的参数值、当前时刻基础网络的代价函数值、当前时刻基础网络的代价函数对网络参数的微分值、前一时刻遗忘门的输出，如下所示：
$${\mathbf{f}}_t=\sigma (W_f\cdot [{\mathbf{\theta }}_{t-1},{\mathcal{L}}_t,{\nabla }_{{\mathbf{\theta }}_{t-1}},{\mathbf{f}}_{t-1}]+{\mathbf{b}}_f)$$
我们用输入门来控制需要更新哪些参数：
$${\mathbf{i}}_t=\sigma (W_i\cdot [{\mathbf{\theta }}_{t-1},{\mathcal{L}}_t,{\nabla }_{{\mathbf{\theta }}_{t-1}},{\mathbf{i}}_{t-1}]+{\mathbf{b}}_i)$$

优化器学习算法

优化器元学习
利用随机值初始化元网络参数${\mathbf{\varphi }}_0$
For d=1…N iterations
\quad 从数据集$D$中随机采样$D^{train}$和$D^{test}$
\quad 将元网络中Cell初始状态${\mathbf{C}}_0$赋给基础网络参数${\mathbf{\theta }}_0$
\quad For$t=1...T$ iterations
\quad \quad 从$D^{train}$中随机抽样一个批次$X_t,Y_t$
\quad \quad 在基础网络上计算代价函数值：${\mathcal{L}}_t(Y_t|X_t;{\mathbf{\theta }}_t)$
\quad \quad 遗忘门：${\mathbf{f}}_t=\sigma (W_f\cdot [{\mathbf{\theta }}_{t-1},{\mathcal{L}}_t,{\nabla }_{{\mathbf{\theta }}_{t-1}},{\mathbf{f}}_{t-1}]+{\mathbf{b}}_f)$
\quad \quad 输入门：${\mathbf{i}}_t=\sigma (W_i\cdot [{\mathbf{\theta }}_{t-1},{\mathcal{L}}_t,{\nabla }_{{\mathbf{\theta }}_{t-1}},{\mathbf{i}}_{t-1}]+{\mathbf{b}}_i)$
\quad \quad 输入信号预处理：${\tilde{\mathbf{C}}}_t=tanh(W_C\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_C)$
\quad \quad 更新Cell状态：${\mathbf{C}}_t={\mathbf{f}}_t\otimes {\mathbf{C}}_{t-1}+{\mathbf{i}}_t\otimes {\tilde{\mathbf{C}}}_t$
\quad \quad 输出门：${\mathbf{o}}_t=\sigma (W_o\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_o)$
\quad \quad 隐藏层状态：${\mathbf{h}}_t={\mathbf{o}}_t\otimes tanh({\mathbf{C}}_t)$
\quad \quad 将元网络的Cell状态${\mathbf{C}}_t$赋引基础网络参数$\mathbf{\theta }{|}_{\mathbf{t}}$
\quad EndFor
\quad 从测试集$D^{test}$中抽样出一个样本$X,Y$
\quad 计算基础网络代价函数：${\mathcal{L}}^{test}={\mathcal{L}}_{{\mathbf{\theta }}_t}(Y|X;{\mathbf{\theta }}_t)$
\quad 利用$\nabla {{\mathcal{L}}^{test}}_{{\mathbf{\theta }}_{t-1}}$更新元网络参数${\varphi }_d$
EndFor
在本章中我们讲述了元学习的基本概念，同时以优化器元学习网络为例，详细讲解了元学习算法的基本数学原理。在下一章中，我们将讨论最先出现同时也是使用最广泛的一种元学习网络Siamese网络，并通过TensorFlow2.0来实现对MNIST手写数字数据集的处理。