【论文】Active Domain Randomizatio

这篇论文是在传统的领域随机化（DR-Domain Randomization）的基础上提出的一篇改进论文，提出传统的领域随机化可能会导致次优的、高方差的策略，归因于对环境参数的均匀采样。

本文的方法通过利用随机化和参考化环境实例中策略推出的差异，在给定的随机化范围内寻找信息量最大的环境变化。

简介

本文的应用场景是 zero-shot 迁移，也就是说对目标域完全不可知。本文的方法将DR作为对随机环境的搜索，以最大化代理策略的效用。具体来说，我们的目标是找到目前对代理策略造成困难的环境，将更多的训练时间用于这些麻烦的参数设置。Stein Variational Policy GradientS - VPG学习问题。

算法

SVPG

SVPG是由Liu等人提出的强化学习算法，他的目标是迭代地学习N个策略

更新的方法利用下式，其中第一项将策略导向更高奖赏的空间，第二项将鼓励探索。

领域随机化

通常DR需要 N_rand 个需要随机化的模拟环境的参数，那么这些参数就组成随机参数空间：

每个参数都是从一个分布中采样得到，例如一个均匀采样：

通过采样每一个参数，最终会得到一系列 MDPs，这些MDPs表面上很相似，但在任务难度上可能差异很大。通过得到一组随机化参数的模拟环境，我们可以将目标环境看作这些模拟环境中的一个变种。

算法

作者从一个简单的任务入手，来说明从一个设定的均匀分布中采样生成的MDPs不一定都有用。

LunarLander-v2 是一个月球降落器的模拟任务，希望 agent 能够使用尽可能少的燃料、尽可能小的速度平稳降落。它只有一个连续动作——主引擎强度（MES）。作者将MES的范围设定在 [8, 20]，通过实验发现越低的 MES 生成的 MDPs 越难解决。

从这个简单任务看到，与均匀采样整个空间相比，关注更难的mdp可以提高泛化，即使评估环境在训练分布之外。

（感觉这篇论文讲的不清楚，大致意思是想要在源域中搜索参数空间，然后找到较难解决的（harder MDPs）参数空间进行学习，这样就能更好地泛化到目标域（难的都学到了，简单的肯定也会）。
（主要是本文的代码给的很全，具有较高的借鉴价值。