强化学习模型构建中‘GridEnv‘ object has no attribute ‘_seed‘(参见郭宪老师的《深入浅出强化学习原理入门》)

博主在学习《深入浅出强化学习原理入门》第二章的模型构建时，按照书上的步骤做完之后，发现出现了以下提示：

意思是在名为'GridEnv'的类下没有属性'_seed'。

在这里首先回顾书上的步骤

Part 1 注册自己的环境

个人感觉书上的步骤中对gym的安装目录没有做出详细说明。

步骤如下：

1、将我们自己的环境文件（文件名为grid_mdp.py)拷贝到你的gym安装目录/gym/gym/envs/classic_control文件夹中。

     说明：gym的安装目录参见这篇文章，我们首先找到Anaconda的安装目录(通常在ProgramData)，在其目录下找到\Lib\site-packages，里面全部为第三方库，如图所示：

        这里为什么做特殊说明呢，因为博主在实验的时候犯了一个错误，我在OpenAI上下载了一个gym的离线安装包，然后后续操作都是在这个离线安装包上完成的，由于gym没有被导入python，所以怎么弄也不对，后来终于发现需要的是嵌入python中的gym环境中的gym/envs/classic_control文件夹。

后续2，3步和郭宪老师的一样

2、打开该文件夹（第一步中的文件夹）下的__init__.py文件，在文件末尾加入语句：

from gym.envs.classic_control.grid_mdp import GridEnv

3、进入文件夹你的gym安装目录/gym/gym/envs，打开该文件夹下的__init__.py文件，添加代码：

register(

id='GridWorld-v0',

entry_point='gym.envs.classic_control:GridEnv',

max_episode_steps=200,

reward_threshold=100.0,

)

回归正题

Part 2 解决'GridEnv' object has no attribute '_seed'

这是什么原因呢？

1、首先，其他环境(例如：CartPole等)可以正常运行，于是，我对比了grid_mdp.py和cartpole.py，如下图所示。发现grid_mdp.py中没有_seed函数，所以在后续调用的时候会出现no attribute '_seed'的提示。

于是，我将左边的seed函数复制到grid_mdp.py中，并更名为_seed()函数。

2、再次运行，仍然出错，错误是：“'GridEnv' object has no attribute '_render'”

这是因为grid_mdp.py没有_render()函数，只有render()函数，于是将其改名即可成功运行。

3、其实更深层次的原因在于C:\ProgramData\Anaconda3\Lib\site-packages\gym\envs目录下的registration.py文件。

该文件中对于_seed&_render和seed&render有一些说法。