备注:在Spinning Up
当前的实现中,没有方法重新开始训练未完成训练的智能体(partially-trained agents)。
1. 算法输出
每一个算法的输出都会保留一下几个部分:超参数配置、学习进程、被训练的智能体和值函数,以及环境的拷贝(如果可能的话)。输出目录(output directory)的结构如下:
目录 | 含义 |
---|---|
pyt_save/ | 只针对PyTorch 实现。用来保存恢复训练的智能体和价值函数所需的所有东西。存储了model.pt 文件,这个文件由torch.save 创建,本质上是一个PyTorch nn.Module (pickled PyTorch nn.Module);加载这个文件将会产生一个包含act方法的ActorCritic对象,即我们训练的智能体。 |
tf1_save/ | 只针对Tensorflow 实现。用来保存恢复训练的智能体和价值函数所需的所有东西。包括:1)variables/,用来保存Tensorflow Saver的输出;2)model_info.pkl, 保存由关键字映射到张量名字的字典;3)saved_model.pb |
config. json | 用来尽可能完全地保存我们在启动训练环境时所用的参数和关键字参数。备注:目前Spinning Up 还不支持从config文件启动实验。 |
progress.txt | 用制表符分隔值的文件,保存整个训练过程中的一些指标,如Epoch ,AverageEpRet 等。 |
vars.pkl | 一个pickle文件,其中包含应该存储的关于算法状态的任何信息;目前该文件只用来保存环境的拷贝。 |
备注:有时环境保存会失败,这时vars.pkl
文件就是空的
2. 保存目录(save directory)位置
默认情况下,每一个实验的结果都会保存在data
文件夹中。我们可以通过更改spinup/user_config.py
的DEFAULT_DATA_DIR
值来更改默认保存文件夹的位置。
3. 载入并运行训练的策略
如果环境保存成功
调用格式为:
python -m spinup.run test_policy path/to/output_directory
如果环境保存失败
test_policy.py
会崩溃,并报如下错误:
Traceback (most recent call last):
File "spinup/utils/test_policy.py", line 153, in <module>
run_policy(env, get_action, args.len, args.episodes, not(args.norender))
File "spinup/utils/test_policy.py", line 114, in run_policy
"and we can't run the agent in it. :( nn Check out the readthedocs " +
AssertionError: Environment not found!
It looks like the environment wasn't saved, and we can't run the agent in it. :(
Check out the readthedocs page on Experiment Outputs for how to handle this situation.
这种情况可以通过下面的方法解决:
>>> from spinup.utils.test_policy import load_policy_and_env, run_policy
>>> import your_env
>>> _, get_action = load_policy_and_env('/path/to/output_directory')
>>> env = your_env.make()
>>> run_policy(env, get_action)
Logging data to /tmp/experiments/1536150702/progress.txt
Episode 0 EpRet -163.830 EpLen 93
Episode 1 EpRet -346.164 EpLen 99
...
调用价值函数
test_policy.py
并没有帮助我们使用训练的价值函数,所以我们需要自行解决。
- 对于PyTorch实现,我们可以通过调用
torch.load
并查看相应算法的文档来获知相应的ActorCritic对象拥有的模块; - 对于Tensorflow实现,调用
restore_tf_graph
来加载保存的计算图,然后查看相应算法的文档来看哪些函数被保存了。