【Spinning Up】2. 实验输出

目录

1. 算法输出

2. 保存目录(save directory)位置

3. 载入并运行训练的策略

4.调用价值函数

5. 联系方式

---

转载链接：
https://blog.csdn.net/wudixi/article/details/104447010

 

备注：在Spinning Up当前的实现中，没有方法重新开始训练未完成训练的智能体（partially-trained agents）。

我自己实现了一半的功能，将buffer存到本地，将policy net参数存到本地，勉强算可以重新开始。

这个整合起来比较困难，目前还没搞。

 

1. 算法输出

每一个算法的输出都会保留一下几个部分：超参数配置、学习进程、被训练的智能体和值函数，以及环境的拷贝（如果可能的话）。输出目录（output directory）的结构如下：

目录	含义
pyt_save/	只针对PyTorch实现。用来保存恢复训练的智能体和价值函数所需的所有东西。存储了model.pt文件，这个文件由torch.save创建，本质上是一个PyTorch nn.Module（pickled PyTorch nn.Module）；加载这个文件将会产生一个包含act方法的ActorCritic对象，即我们训练的智能体。
tf1_save/	只针对Tensorflow实现。用来保存恢复训练的智能体和价值函数所需的所有东西。包括：1）variables/，用来保存Tensorflow Saver的输出；2）model_info.pkl， 保存由关键字映射到张量名字的字典；3）saved_model.pb
config. json	用来尽可能完全地保存我们在启动训练环境时所用的参数和关键字参数。备注：目前Spinning Up还不支持从config文件启动实验。
progress.txt	用制表符分隔值的文件，保存整个训练过程中的一些指标，如Epoch，AverageEpRet等。
vars.pkl	一个pickle文件，其中包含应该存储的关于算法状态的任何信息；目前该文件只用来保存环境的拷贝。

备注：有时环境保存会失败，这时vars.pkl文件就是空的

2. 保存目录(save directory)位置

默认情况下，每一个实验的结果都会保存在data文件夹中。我们可以通过更改spinup/user_config.py的DEFAULT_DATA_DIR值来更改默认保存文件夹的位置。

3. 载入并运行训练的策略

如果环境保存成功

调用格式为：

python -m spinup.run test_policy path/to/output_directory

如果环境保存失败

test_policy.py会崩溃，并报如下错误：

Traceback (most recent call last):
  File "spinup/utils/test_policy.py", line 153, in <module>
    run_policy(env, get_action, args.len, args.episodes, not(args.norender))
  File "spinup/utils/test_policy.py", line 114, in run_policy
    "and we can't run the agent in it. :( nn Check out the readthedocs " +
AssertionError: Environment not found!

 It looks like the environment wasn't saved, and we can't run the agent in it. :(

 Check out the readthedocs page on Experiment Outputs for how to handle this situation.

这种情况可以通过下面的方法解决：

>>> from spinup.utils.test_policy import load_policy_and_env, run_policy
>>> import your_env
>>> _, get_action = load_policy_and_env('/path/to/output_directory')
>>> env = your_env.make()
>>> run_policy(env, get_action)
Logging data to /tmp/experiments/1536150702/progress.txt
Episode 0    EpRet -163.830      EpLen 93
Episode 1    EpRet -346.164      EpLen 99
...

4.调用价值函数

test_policy.py并没有帮助我们使用训练的价值函数，所以我们需要自行解决。

1. 对于PyTorch实现，我们可以通过调用torch.load并查看相应算法的文档来获知相应的ActorCritic对象拥有的模块；
2. 对于Tensorflow实现，调用restore_tf_graph来加载保存的计算图，然后查看相应算法的文档来看哪些函数被保存了。

5. 联系方式

ps: 欢迎做强化的同学加群一起学习：

深度强化学习-DRL：799378128

欢迎关注知乎帐号：未入门的炼丹学徒

CSDN帐号：https://blog.csdn.net/hehedadaq