强化学习 gridworld P77 模拟

最新推荐文章于 2022-06-27 15:42:21 发布
最新推荐文章于 2022-06-27 15:42:21 发布
阅读量232 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ujn20161222/article/details/107606831
版权 
import numpy as numpy
from tabulate import tabulate

class State: # class for each unit on the game
    def __init__(self, _id):
        if _id != 0:
            self.value = 0
        elif _id == 0:
            self.value = 0
        self.id = _id
        self.left_bound = max(1, (self.id // 4) * 4)  # save the left border
        self.right_bound =  min(14, (self.id // 4) * 4 + 3) # save the right border
        self.nextS = [self.move('L'), self.move('R'), self.move('U'), self.move('D')]


    def move(self, u):  # get next S
        if u == 'L':  # move left
            if self.id - 1 >= self.left_bound:
                return self.id - 1
            elif self.id - 1 == 0:
                return 0
            else:
                return self.id
        if u == 'R':  # move right
            if self.id + 1 <= self.right_bound:
                return self.id + 1
            elif self.id + 1 == 15:
                return 0
            else:
                return self.id
        if u == 'U':  # move up
            if self.id - 4 >= 1:
                return self.id - 4
            elif self.id - 4 == 0:
                return 0
            else:
                return self.id
        if u == 'D':  # move down
            if self.id + 4 <= 14:
                return self.id + 4
            elif self.id + 4 == 15:
                return 0
            else:
                return self.id

    def update(self, S):  # S is the whole set of the States.
        V = 0
        for i in range(0, 4):
            V += S[self.nextS[i]].value
        # print("update id " + str(self.id))
        # print("for the " + str(self.nextS[i]))
        # print("old value" + str(self.value))
        # print("new value" + str(S[self.nextS[i]].value))
        self.value = -1+0.25 * V

def train(k=10):
    V  = []
    S_T = State(0)
    S = {0: S_T}
    for j in range(1, 15):
        S[j] = State(j)
    for loop in range(k):
        if loop>=1000 and loop%1000 == 0:
            print("Training "+str(loop)+"'s loop.......Remaining: "+str(k-loop)+ " loops")
        n = numpy.random.random()
        if n > 0.5:
            for j in range(1, 15):
                S[j].update(S)
        else:
            for j in range(14, 0, -1):
                S[j].update(S)
    for t in range(0,16):
        if t == 0 or t == 15:
            V.append("0")
        else:
            V.append(S[t].value)
    draw(V)


def draw(valueArray):
    for i in range(4):
        print("----------------------")
#         print("| "+str(int(valueArray[i*4]))+" | "+str(int(valueArray[i*4+1])) +" | "+str(int(valueArray[i*4+2])) +" | "+str(int(valueArray[i*4+3])) +" |")
#         print("| %.1f | %.1f | %.1f | %.1f |" % float(valueArray[i*4]),valueArray[i*4+1],valueArray[i*4+2],valueArray[i*4+3])
#         print("| %.1f | %.1f | %.1f | %.1f |" % float(valueArray[i*4]),float(valueArray[i*4+1]),float(valueArray[i*4+2]),float(valueArray[i*4+3]))
        print("| %.1f | %.1f | %.1f | %.1f " % (float(valueArray[i*4]),float(valueArray[i*4+1]),float(valueArray[i*4+2]),float(valueArray[i*4+3])))
    print("----------------------")
    print("Accurate State Values List:")
    for i in range(1,8):
        print("State "+str(2*i-1)+": "+str(valueArray[2*i-1])+ "          State "+str(2*i)+": "+str(valueArray[2*i]))

if __name__ == '__main__':
    k = input("Specify the desired training loop count(0-10000):")
    train(int(k))

增加一个节点 exercise 4.3


import numpy as numpy
from tabulate import tabulate

class State: # class for each unit on the game
    def __init__(self, _id):
        if _id != 0:
            self.value = 0
        elif _id == 0:
            self.value = 0
        self.id = _id
        self.left_bound = max(1, (self.id // 4) * 4)  # save the left border
        self.right_bound =  min(14, (self.id // 4) * 4 + 3) # save the right border
        self.nextS = [self.move('L'), self.move('R'), self.move('U'), self.move('D')]


    def move(self, u):  # get next S
        if self.id==17:
            if u=='L':
                return 12
            if u=='R':
                return 14
            if u=='U':
                return 13
            if u=='D':
                return 17
        if self.id==13 and u=='D':
                return 17
        if u == 'L':  # move left
            if self.id - 1 >= self.left_bound:
                return self.id - 1
            elif self.id - 1 == 0:
                return 0
            else:
                return self.id
        if u == 'R':  # move right
            if self.id + 1 <= self.right_bound:
                return self.id + 1
            elif self.id + 1 == 15:
                return 0
            else:
                return self.id
        if u == 'U':  # move up
            if self.id - 4 >= 1:
                return self.id - 4
            elif self.id - 4 == 0:
                return 0
            else:
                return self.id
        if u == 'D':  # move down
            if self.id + 4 <= 14:
                return self.id + 4
            elif self.id + 4 == 15:
                return 0
            else:
                return self.id

    def update(self, S):  # S is the whole set of the States.
        V = 0
        for i in range(0, 4):
            V += S[self.nextS[i]].value
        # print("update id " + str(self.id))
        # print("for the " + str(self.nextS[i]))
        # print("old value" + str(self.value))
        # print("new value" + str(S[self.nextS[i]].value))
        self.value = -1+0.25 * V

def train(k=10):
    V  = []
    S_T = State(0)
    S = {0: S_T}
    for j in range(1, 15):
        S[j] = State(j)
    S[17] = State(17)
    for loop in range(k):
        if loop>=1000 and loop%1000 == 0:
            print("Training "+str(loop)+"'s loop.......Remaining: "+str(k-loop)+ " loops")
        n = numpy.random.random()
        if n > 0.5:
            for j in range(1, 15):
                S[j].update(S)
            S[17].update(S)
        else:
            S[17].update(S)
            for j in range(14, 0, -1):
                S[j].update(S)
    for t in range(0,16):
        if t == 0 or t == 15:
            V.append("0")
        else:
            V.append(S[t].value)
    V.append(S[17].value)
    draw(V)


def draw(valueArray):
    for i in range(4):
        print("----------------------")
#         print("| "+str(int(valueArray[i*4]))+" | "+str(int(valueArray[i*4+1])) +" | "+str(int(valueArray[i*4+2])) +" | "+str(int(valueArray[i*4+3])) +" |")
#         print("| %.1f | %.1f | %.1f | %.1f |" % float(valueArray[i*4]),valueArray[i*4+1],valueArray[i*4+2],valueArray[i*4+3])
#         print("| %.1f | %.1f | %.1f | %.1f |" % float(valueArray[i*4]),float(valueArray[i*4+1]),float(valueArray[i*4+2]),float(valueArray[i*4+3]))
        print("| %.1f | %.1f | %.1f | %.1f " % (float(valueArray[i*4]),float(valueArray[i*4+1]),float(valueArray[i*4+2]),float(valueArray[i*4+3])))
    print(float(valueArray[16]))
    print("----------------------")
    print("Accurate State Values List:")
    for i in range(1,8):
        print("State "+str(2*i-1)+": "+str(valueArray[2*i-1])+ "          State "+str(2*i)+": "+str(valueArray[2*i]))

if __name__ == '__main__':
    k = input("Specify the desired training loop count(0-10000):")
    train(int(k))

ujn20161222
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
强化学习圣经-GridWorld实现
飞翔的貅貅的博客
10-07 2525
import numpy as np import matplotlib.pyplot as plt grid_size = 5 posA = [0,1] primeA = [4,1] posB = [0,3] primeB = [2,3] discount = 0.9 actions = ['L', 'U', 'R', 'D'] actionProb = [[dict({'L':0.25, ...
DeepMind推出最新强化学习环境「Gridworlds」，剑指AI安全 | 附论文&代码实现
雷克世界
11-30 1019
图：pixabay 原文来源：DeepMind Blog、arXiv、GitHub 作者：Victoria Krakovna、Jan Leike、Laurent Orseau 「雷克世界」编译：嗯~阿童木呀、哆啦A亮 随着人工智能系统在现实世界中变得日益普遍和有用，确保它们的安全行为也将成为工作中的重点。迄今为止，大多数技术性人工智能安全研究的重点集中在对不安全
Gridworld:Gridworld（强化学习）
05-04
网格世界 Gridworld（强化学习） 在攻读机器学习博士学位时，我出于教育目的实现了一些Java applet。 我创建了一个工具箱，学生可以在其中使用不同的强化学习算法。 强化学习是机器学习的一个分支，其重点在于从交互中学习。 强化学习可以看作是第一次执行任务时自动在人们的脑海中进行的学习过程。 与人类的行为类似，强化学习算法尝试不同的动作，并尝试建立包含所收集智慧的知识库。 随着时间的推移和尝试更多的动作，该算法对如何解决任务以及环境的动态如何影响这些动作有了很好的理解。 最后，该算法将收敛到可以从那时开始加以利用的最佳策略。 在此小程序中，我实现了： 可以添加和清除障碍物的交互式环境 具有不同奖励的不同目标位置 多样化的强化学习算法集，从Q学习，Q lambda，Sarsa 用户也可以 检查每一集的学习过程 在学习结束时 手动执行动作选择并检查影响 该应用的屏幕截图可以在
【零基础强化学习】 基于tkinter搭建gridworld强化学习环境
南城果宝的满腹经纶
04-16 2267
【零基础强化学习】 基于tkinter搭建gridworld强化学习环境 状态、奖励、done都可以自己设置噢！ 有问题的小伙伴可以与我联系交流！
增强学习例子windygridworld cpp 源码
02-07
增强学习例子　windygridworld　动态规划　statevalue状态转移
强化学习（一）案例grid world
panbaoran913的博客
07-20 3997
MDP的案例 一、Grid world 参考连接：https://www.jianshu.com/p/b392405115bb 网格世界(Grid World) 规则：网格中的每一个小格都对应于环境中的状态. 在一个小格上, 有 4 种可能的动作: 北移, 南移,东移, 西移, 其中各个动作都确定性地使智能体在网格上沿对应的方向移动一格. 如果所采取的动作将令智能体脱离网格, 那么该动作的结果为智能体的位置保持不变, 且造成 −1 的奖赏. 除了上述动作与将智能体移出特殊状态 A 与 B 的动作外, 其他的
强化学习C++模拟.zip
11-19
简单的强化学习的C++模拟。 强化学习是机器学习的一个重要分支，是多学科多领域交叉的一个产物，它的本质是解决 decision making 问题， 即自动进行决策，并且可以做连续决策。 它主要包含四个元素，agent，环境...
多智能体强化学习Simulink模型
最新发布
02-06
标题“多智能体强化学习Simulink模型”表明我们讨论的是一个使用Simulink构建的模型，该模型旨在模拟和研究多智能体之间的协同强化学习过程。Simulink模型的优势在于能够直观地展示系统动态，便于理解和调试复杂的...
Easy RL强化学习教程.rar
04-08
贡献者：Datawhale开源项目组 作为人工智能里最受关注的领域之一，强化... 在学习强化学习的过程中，遇到了有无数资料却难以入门的问题，于是发起了Datawhale强化学习项目，希望自学的同时帮助更多学习者轻松入门。
深度强化学习基础知识 思维导图
05-15
强化学习基本概念 基本方法（Value-Based、Policy-Based、Actor-Critic） 策略学习（Reinforce with baseline、A2C） 价值学习（Sarsa、Q-Learning（DQN）） 连续动作控制（DPG、DDPG） 包含上述各种基本算法的原理...
GridWorld:使用强化学习技术、值迭代和 Q 学习解决 5x4 网格世界问题
07-03
网格世界 使用强化学习技术、值迭代和 Q 学习解决 5x4 网格世界问题
GridWorld阶段一自学报告
03-04
由于原博客中内容显示有问题，故在此附上GridWorld阶段一自学报告
gridworld扩展任务二
07-09
无环路迷宫在数据结构上表现为一棵树，采用深度优先搜索算法就可以走出迷宫。本实验的目的是让同学们学习、理解和应用深度优先搜索算法。本实验要求同学们在改进的Grid World软件装置中实现深度优先搜索算法，从而使虫子走出迷宫。本实验需要用到软装置MazeBug。 实验要求 参考已实现的MazeBug，定义一个继承Bug类的MazeDigBug类，需要实现以下功能。 （1）MazeDigBug能在一张N*N的布满石头的grid中挖出一个迷宫。注意虫子每次只能前进一步，不能出现闪烁飞行的情况。 （2）参考FinalMaze01.txt中的格式，自行学习Java的文件IO，定义好迷宫的终点并将迷宫输出到文件。然后将迷宫加载，并使用第一部分的MazeBug走出迷宫。 输出时可以在地图生成的时候直接进行将文件地图输出（不需要GUI参与）；也可以修改WorldFrame.java，仿造其中Load Map的实现添加Load Map按钮（保存地图时可以借助其中的saveMap方法）。
gridworld阶段3答案
09-03
根据前面介绍或自己在网上查找的资料，利用本实验提供的软装置实现ImageReader软件，需要实现以下功能： 1． 利用二进制流读取Bitmap位图文件。注意，这里要求不能使用Java提供的API进行读取； 2． 把读取彩色图像转换成灰度图像； 3． 提取并且显示彩色图像各个色彩通道； 4． 把处理完的图像保存为jpg格式图像。注意，这里可以使用Java提供的API完成，但本文档不提供，希望各位同学自行上网查找资料自学。如果学有余力的同学，可以实现按照二进制流输出保存jpg图像；
gridworld.py
06-18
百度飞桨世界冠军带你从零实践到强化学习第二天博客使用文件，如果文件收费请联系，帮助修改额度(免费的！！！）
强化学习python代码实战：深度递归Q网络（Deep Recurrent Q-Network）解决gridworld（配详细代码注释）
liaojq2020的博客
12-22 2075
DRQN (Deep Recurrent Q-Network) 是一种将 Q-network 和 RNN 结合解决部分可观测马尔可夫决策过程的方法，本文通过每句代码的详细注释，清楚的解释了通过 DQRN 算法解决强化学习中经典问题 gridworld 的方法，便于读者更好的学习强化学习、理解强化学习与深度学习和其他机器学习方法之间的关系。
强化学习实践三 ：编写通用的格子世界环境类
xyk_hust的博客
01-21 3286
gym里内置了许多好玩经典的环境用于训练一个更加智能的个体，不过这些环境类绝大多数不能用来实践前五讲的视频内容，主要是由于这些环境类的观测空间的某个维度是连续变量而不是离散变量，这是前五讲内容还未涉及到的知识。为了配合解释David Silver视频公开课提到的一些示例，参考了gym的思想设计了一个通用的格子世界环境类，该环境类的观测空间是一维离散变量，可以很好地模拟其公开课中提到的：简单格子、有...
通过代码学Sutton强化学习1：Grid World OpenAI环境和策略评价算法
frankding84的博客
09-14 814
经典教材Reinforcement Learning: An Introduction 第二版由强化领域权威Richard S. Sutton 和 Andrew G. Barto 完成编写，内容深入浅出，非常适合初学者。在本篇中，引入Grid World示例，结合强化学习核心概念，并用python代码实现OpenAI Gym的模拟环境，进一步实现策略评价算法。 Grid World 问题 第四章例子4.1提出了一个简单的离散空间状态问题：Grid World，其大致意思是在4
强化学习——格子世界
拧发条鸟的博客
06-27 1307
每个单元格的状态价值如下图所示 从每个单元格最优价值表中可以看出，越靠近最终状态的单元格，其价值越大。这是因为除非到达最终状态，不然所有的状态改变的返回值都是 -1。从这个表中，也可以看出agent该往哪一个方向走，只要相邻单元格的价值大于agent所在的单元格，就可以移动。举例来说，假如agent在（1,1）处，它可以往上走，往左走，因为（0,1），（1,0）处的单元格价值都大于（1,1）处。......
强化学习算法详解
"Algorithms for Reinforcement Learning" 是一本由Csaba Szepesvári编写的电子书，专注于强化学习的算法。这本书由Morgan & Claypool出版社在2010年出版，探讨了如何通过学习控制系统来最大化长期目标性能度量的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值