Gym小记（六）

最新推荐文章于 2024-07-23 19:24:36 发布

微丶念

最新推荐文章于 2024-07-23 19:24:36 发布

阅读量6.7k

点赞数 1

分类专栏： OpenAI Gym学习笔记

本文链接：https://blog.csdn.net/u013745804/article/details/78403353

版权

OpenAI Gym学习笔记专栏收录该内容

7 篇文章 18 订阅

订阅专栏

试用gym wrappers

gym wrappers用于将环境进行打包，我们可以使用这个模块来记录自己的算法在环境中的表现，并拍摄自己算法学习的视频，示例如下：

import gym
from gym import wrappers
env=gym.make('CartPole-v0')
env=wrappers.Monitor(env,'/tmp/cartpole-experiment-1')
for i_episode in range(20):
        observation=env.reset()
        for t in range(100):
                env.render()
                print(observation)
                action=env.action_space.sample()
                s,r,done,info=env.step(action)
                if done:
                        print("Episode finished after {} timestep".format(t+1))
                        break

其中我们仅仅比平时多了一个对env的封装wrappers.Monitor，便会在我们所指定的目录汇总记录我们算法的性能。我们可以直接看 Monitor类的定义，从而加深对这个类的理解。查看指定目录：

可见，文件夹中包含了两种格式的文件，一种是.json文件格式，一种是.mp4格式文件。.mp4格式就不用多说，如果没有合适的视频查看器，那可以用浏览器打开。下面介绍一下.json格式文件。

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式。JSON采用完全独立于语言的文本格式，这些特性使得JSON成为理想的数据交换语言，它易于阅读和编写，同时易于机器解析和生成。

JSON有两种基础结构：

1）”名称/值“对的集合（A collection of name/value pairs）。不同的语言中，它被理解为对象（object），记录（record），结构（struct），字典（dictionary），哈希表（hash table），有键列表（keyed list），或者关联数组（associative array）。

2）值的有序列表（An ordered list of values）。在大部分语言中，它被理解为数组（array）。

下面我们打开openaigym.episode_batch.0.15433.stats.json文件来看一下：

上面是我整理了之后的样子，因为它本身是所有数据都在一行的，所以截屏的话只能看见前面的数据，于是我就给它分行了。

从示例中可以看出JSON的两种基础数据结构，比如episode_types是名称，后面的["t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t","t"...]就是值的有序列表。

该文件中记录的是我们训练过程中的各种数据，此外，另外两个文件openaigym.manifest.0.15433.manifest.json和openaigym.video.0.15433.video000000.meta.json则分别如下图所示：

1）openaigym.manifest.0.15433.manifest.json：

2）openaigym.video.0.15433.video000000.meta.json：

了解完gym.wrappers.Monitor所记录的文件之后，我们继续考虑如何将这些结果上传到OpenAI Gym：

gym.upload('/tmp/cartpole-experiment-1',api_key='sk_Gmo4wYBhRoeJ9shfSS8hvg'）

这样便将结果上传到了OpenAI Gym。不过upload函数现在暂时不能用了：

NotImplementedError，所以这样看来我们暂时是不能用upload功能将我们的代码上传到OpenAI Gym咯～。

但是我们可以看看以前用upload得到的结果：

[2017-05-11 00:11:13,592] [CartPole-v0] Uploading 20 episodes of training data
[2017-05-11 00:11:21,614] [CartPole-v0] Uploading videos of 3 training episodes (8459 bytes)
[2017-05-11 00:11:33,060] [CartPole-v0] Creating evaluation object from /tmp/cartpole-experiment-1 with learning curve and training video
[2017-05-11 00:11:33,669] 
****************************************************
You successfully uploaded your evaluation on CartPole-v0 to
OpenAI Gym! You can find it at:

    https://gym.openai.com/evaluations/eval_mVPNxudETYOY9eCCwwWzw

****************************************************