强化学习实践三 ：编写通用的格子世界环境类

最新推荐文章于 2024-04-10 13:20:06 发布
最新推荐文章于 2024-04-10 13:20:06 发布
阅读量3.2k 收藏 26
点赞数 4
分类专栏： 强化学习实践 强化学习实践 文章标签： 强化学习 格子世界 gym 环境
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyk_hust/article/details/86569776
版权

gym里内置了许多好玩经典的环境用于训练一个更加智能的个体，不过这些环境类绝大多数不能用来实践前五讲的视频内容，主要是由于这些环境类的观测空间的某个维度是连续变量而不是离散变量，这是前五讲内容还未涉及到的知识。为了配合解释David Silver视频公开课提到的一些示例，参考了gym的思想设计了一个通用的格子世界环境类，该环境类的观测空间是一维离散变量，可以很好地模拟其公开课中提到的：简单格子、有风格子、随机行走、悬崖行走、随机策略（骷髅和钱袋子）等问题。在此基础上理解、实践强化学习的基础算法就相对简单而且直观了。

先贴上格子世界环境类的源文件：gridworld.py，只把该文件下载到您自己的文件夹内，导入其中的类或方法就可以了。已经内置的一些环境类UI界面类似下面这些：

一些内置的格子世界环境

简单或有风10*7格子世界

悬崖行走示例

随机行走示例

模仿Gridworld with Dynamic Programming 的一个格子世界

用户可以自定义格子的大小、水平和垂直格子数目、内部障碍分布、以及每一个格子的即时奖励值。在通用的格子世界环境类的UI界面中，我使用不同的颜色设置表示不同的意义，其中：

  • 带有蓝色边框的格
最低0.47元/天 解锁文章
xyk_hust
关注
  • 4
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
强化学习圣经-GridWorld实现
飞翔的貅貅的博客
10-07 2507
import numpy as np import matplotlib.pyplot as plt grid_size = 5 posA = [0,1] primeA = [4,1] posB = [0,3] primeB = [2,3] discount = 0.9 actions = ['L', 'U', 'R', 'D'] actionProb = [[dict({'L':0.25, ...
环境动力学已知条件下策略迭代与值迭代的强化学习算法
01-15
1. 这是作者花费一周的时间，使用python写出的策略迭代和值迭代强化学习算法，以一个完整的项目发布，为解决“已知马尔科夫决策过程五元组，求最优策略”这类问题提供了算法与通用框架 2. 项目采用面向对象架构和...
Gridworld:Gridworld（强化学习）
05-04
网格世界 Gridworld（强化学习） 在攻读机器学习博士学位时，我出于教育目的实现了一些Java applet。 我创建了一个工具箱，学生可以在其中使用不同的强化学习算法。 强化学习是机器学习的一个分支，其重点在于从交互中学习。 强化学习可以看作是第一次执行任务时自动在人们的脑海中进行的学习过程。 与人类的行为类似，强化学习算法尝试不同的动作，并尝试建立包含所收集智慧的知识库。 随着时间的推移和尝试更多的动作，该算法对如何解决任务以及环境的动态如何影响这些动作有了很好的理解。 最后，该算法将收敛到可以从那时开始加以利用的最佳策略。 在此小程序中，我实现了： 可以添加和清除障碍物的交互式环境 具有不同奖励的不同目标位置 多样化的强化学习算法集，从Q学习，Q lambda，Sarsa 用户也可以 检查每一集的学习过程 在学习结束时 手动执行动作选择并检查影响 该应用的屏幕截图可以在
强化学习（格子世界）
a_123zxy的博客
11-28 970
格子世界程序（策略评估、策略迭代、价值迭代） import ramdom S = [i for i in range(16)] //定义状态空间 A = ["n","e","s","w"] //定义动作空间 ds_actions = {"n":-4,"e":1,"s":4,"w":-1} V = [0 for _ in range(16)] //定义初始价值 def dynamics(s,a): s_prime = s if (s<=3 and a=="n") or (s>=
强化学习实例分析：GridWorld【值迭代和策略迭代算法Python实现】
最新发布
v20000727的博客
04-10 1162
在前面的章节，我们探讨了强化学习中两个关键算法：值迭代和策略迭代的数学原理.本节我们在Gridworld的场景下实现Value iteration和Policy iteration这两个算法.
【零基础强化学习】 基于tkinter搭建gridworld强化学习环境
南城果宝的满腹经纶
04-16 2250
【零基础强化学习】 基于tkinter搭建gridworld强化学习环境 状态、奖励、done都可以自己设置噢！ 有问题的小伙伴可以与我联系交流！
强化学习（一）案例grid world
panbaoran913的博客
07-20 3893
MDP的案例 一、Grid world 参考连接：https://www.jianshu.com/p/b392405115bb 网格世界(Grid World) 规则：网格中的每一个小格都对应于环境中的状态. 在一个小格上, 有 4 种可能的动作: 北移, 南移,东移, 西移, 其中各个动作都确定性地使智能体在网格上沿对应的方向移动一格. 如果所采取的动作将令智能体脱离网格, 那么该动作的结果为智能体的位置保持不变, 且造成 −1 的奖赏. 除了上述动作与将智能体移出特殊状态 A 与 B 的动作外, 其他的
强化学习 gridworld P77 模拟
ujn20161222的博客
07-27 228
import numpy as numpy from tabulate import tabulate class State: # class for each unit on the game def __init__(self, _id): if _id != 0: self.value = 0 elif _id == 0: self.value = 0 self.id = _id .
实验四、格子世界（Grid World）
书启鸿蒙知秋枫
12-22 1711
当discount =1时，表明未来以及现在的reward具有相同的权重，可以说此时的agent是一个 far-sighted，当discount =0时，表明完全不考虑未来的reward，只考虑当下，可以说此时的agent是一个 myopic。当我们从当前状态 s 转移到下一时刻状态时，对下一时刻每一个状态s’ 存在一个从状态s 到 s’的状态转移概率 Pss′，那么当前状态的价值函数可以表示为当前状态的reward 加上带discount的下一时刻状态s与状态转移概率 Pss′乘积的累加和。
hw3-code.zip_python_强化学习_格子
09-24
这是强化学习关于动态规划的例子，我们需要让智能体自己找到最好的策略。环境是一个5*5的格子，只有走到正确的格子下才能够获得奖励。通过这个例子对动态规划能有一个很好的了解。
三维方腔内流体流动的格子波尔茨曼方法模拟
04-26
三维方腔内流体流动的格子波尔茨曼方法模拟(Three-dimensional square cavity fluid flow simulation Lattice Boltzmann Method)
GridWorld:使用强化学习技术、值迭代和 Q 学习解决 5x4 网格世界问题
07-03
网格世界 使用强化学习技术、值迭代和 Q 学习解决 5x4 网格世界问题
增强学习例子windygridworld cpp 源码
02-07
增强学习例子　windygridworld　动态规划　statevalue状态转移
gridworld.py
06-18
百度飞桨世界冠军带你从零实践到强化学习第二天博客使用文件，如果文件收费请联系，帮助修改额度(免费的！！！）
环境配置及GridWorld运行指南1
08-03
环境配置及GridWorld运行指南1
L2M_GridWorld：网格世界设置中的终身学习
02-08
L2M_GridWorld 网格世界设置中的终身学习，基于以下文章中的Mini网格世界环境： : 第一次运行：运行此命令：python ./manual_control.py --env MiniGrid-FourRooms-v0 --num_envs 5 简约的Gridworld环境（MiniGrid） 那里还有其他的gridworld Gym环境，但是该环境被设计为特别简单，轻巧和快速。 该代码几乎没有依赖项，因此不太可能破坏或无法安装。 它不加载任何外部精灵/纹理，并且可以在Core i7笔记本电脑上以高达5000 FPS的速度运行，这意味着您可以更快地运行实验。 可以找到有效的RL实现。 要求： Python 3.5+ OpenAI体育馆 NumPy Matplotlib（可选，仅用于显示） 如果要在出版物中引用此存储库，请使用此bibtex： @misc{g
cameraLattice:玛雅相机格子
05-07
玛雅相机格子 我们的Camera Lattice工具是解决相机空间中的网格变形的最终解决方案。 在您的相机上安装一个格子，并在几秒钟内使任何网格变形！ 特征： 相机空间的晶格变形 每个相机多个格子 单个相机点阵即可轻松...
161726150719375_nw小世界_耦合映像格子_耦合映像_shortcsn_
10-03
可实现NW小世界，可配合耦合映像格子模型
强化学习python代码实战：深度递归Q网络（Deep Recurrent Q-Network）解决gridworld（配详细代码注释）
liaojq2020的博客
12-22 2051
DRQN (Deep Recurrent Q-Network) 是一种将 Q-network 和 RNN 结合解决部分可观测马尔可夫决策过程的方法，本文通过每句代码的详细注释，清楚的解释了通过 DQRN 算法解决强化学习中经典问题 gridworld 的方法，便于读者更好的学习强化学习、理解强化学习与深度学习和其他机器学习方法之间的关系。
编写通用的格子世界环境类
05-30
好的，我可以为您编写一个通用的格子世界环境类。以下是一个简单的示例代码： ```python class GridWorld: def __init__(self, width, height): self.width = width self.height = height self.grid = [[0 for ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值