10.29读书笔记《python元学习：通用人工智能的实现》第7章Meta-SGD和Reptile

第7章Meta-SGD和Reptile

1. Meta-SGD 随机梯度下降
   在MAML基础上，还学习：学习率和适应方向。
   
   此处的α是向量。
   使用与θ形状相同的α作为初始化学习率，更新方向是自适应项方向，不再是梯度方向。外循环中，同时更新θ和α：
   
   在tensorflow中构建
   核心代码在于，比MAML多了α的更新：
   self.theta = self.theta-self.betameta_gradient/self.num_tasks
   self.alpha = self.alpha-self.betameta_gradient/self.num_tasks
   但我有一个问题，这不是θ和α更新的值都一模一样？？？？？α这么更新到底是啥意思。。原理是什么。。不明白了

2. Reptile
   对每个抽样任务进行迭代次数更少的随机梯度下降（SGD），然后通过使最优参和原始参的距离最小来更新参数。