元学习Reptile算法详解

Reptile

优化算法：

$U_{\tau }^k$ is the operator that updates $\phi$ $\tau$ times using data sampled from $\tau$

算例

• The task $\tau =(a,b)$ is defined by the amplitude a and phase $\varphi$ of a sine wave function $f_{\tau }(x)=\sin (ax)+\cos (bx)+c‘$. The task distribution by sampling $a,b,c\sim U([0,range])$.
• Sample $p$ points $x_1,x_2,...,x_p\sim U([-5,5])$
• Compute learner $f$

默认参数	学习率	优化器	task	updata_step	预训练样本数	网络结构
-	0.001	adam	1000	20	1000	[1,64,64,1]

测试函数

$$3.604427895224856sin(x+3.448296944257913)$$

实验1：使用Reptile方法与无Reptile预处理对比

• 相比于不预训练的情况，预训练了网络在少量样本点训练下能得到较好结果

实验2：不同task预训练

• 在不更改采样点个数情况下，task number越多，预训练效果大多情况是越好的，但是到随着预训练task增加，增加到一定值后，预训练效果改变不明显，需要调整预训练采样点个数，预训练梯度更新次数(k)来调整