Udacity-DRL Temporal_Difference_Solution CliffWalking & Taxi

最新推荐文章于 2024-07-03 11:11:45 发布
最新推荐文章于 2024-07-03 11:11:45 发布
阅读量267 收藏
点赞数 1
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linyijiong/article/details/86679657
版权

CliffWalking

1. Collection Deque

https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001411031239400f7181f65f33a4623bc42276a605debf6000 

 

2. 画图

plot一个参数为横坐标,第二个为纵坐标

linspace用来返回一个间隔均匀的数列, asarray将list转为asarray.

 

Taxi

Q1: 为什么alpha为1,best_avg就学的很快? 对于实际的Qtable是否会一直颠簸不收敛?

 

note: epsilon一开始设为1,然后慢慢递减,但是不能无限小,要始终保持探索,因此设置一个min值.

Bourne_Boom
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Udacity-Intro_to_Algorithms：Udacity-Intro_to_Algorithms
02-09
Udacity算法 Udacity算法 Udacity-Intro_to_Algorithms Udacity-Intro_to_Algorithms 授课教师：Michael Littman 迈克尔·莱德曼·里特曼（Michael Lederman Littman）（1966年8月30日出生）是计算机科学家。 他...
Udacity-Full_Stack:Udacity-Full_Stack
03-10
Udacity-Full_Stack Udacity-Full_Stack 全栈基础 通过Amazon Web Services 使用Python构建数据驱动的Web应用 在本课程中，您将学习后端Web开发的基础知识！ 您将创建自己的Web应用程序，该应用程序在数据库中...
RL(Chapter 6): Cliff Walking
连理o的博客
11-14 1186
本文为强化学习笔记，主要参考以下内容： Reinforcement Learning: An Introduction 代码全部来自 GitHub 习题答案参考 Github 目录Cliff WalkingCodeEnvironmentSarsa, Expected SarsaQ-learningVisualization Cliff Walking This gridworld example compares Sarsa and Q-learning, highlighting the differ
CliffWalking入门
最新发布
weixin_43949898的博客
07-03 920
悬崖行走问题是强化学习中一个经典的入门级问题。它描述了一个智能体从起点 S 到达目标 G 的网格世界环境，其中存在悬崖会让智能体掉落并重置到起点。智能体的目标是通过学习最优策略，尽可能减少到达目标所需的步数。Q-Learning 是一种常用的强化学习算法，用于解决 CliffWalking 问题。它使用 Q 表来存储每个状态-动作对的期望奖励。智能体会根据 Q 表来选择动作，并不断更新 Q 表以提高策略的性能。
利用Q-learning解决Cliff-walking问题
菜狗的玄学修炼室
06-24 4963
在写的过程中参考了大量其他人所写的算法教程，因为看太多了，我也不太记得参考过谁的了，在此统一感谢了！ 格式排版有点难整，和word不太一样，大家将就的看吧。。。
强化学习 Q-learning 实战GYM下的CliffWalking爬悬崖游戏
Xurui_Luo的博客
06-19 5357
CliffWalking 如下图所示，S是起点，C是障碍，G是目标 agent从S开始走，目标是找到到G的最短路径 这里reward可以建模成-1，最终目标是让return最大，也就是路径最短 代码和解释 import gym import time import numpy as np class QLearningAgent(object): def __init__(self, obs_n, act_n, learning_rate=0.01, gamma=0.9, e_greed=
【零基础强化学习】100行代码教你训练——基于SARSA的CliffWalking爬悬崖游戏
南城果宝的满腹经纶
01-13 6838
【零基础强化学习】100行代码教你训练——基于SARSA的CliffWalking爬悬崖游戏，sarsa下一步的Q对应的action是经过贪婪-探索的实际与环境交互的动作（==属于on-policy==），加了探索的动作会对环境中reward比较低的状态很敏感，所以实验结果**很胆小**！
udacity-cs373_AI-for-Robotics：Udacity CS373的存储库：机器人的人工智能
02-04
Udacity CS373的存储库：Sebastian Thrun讲授的人工智能 该课程分为6个部分，最后一个项目，所有程序设计均以python编写 课程主题包括： 本土化 卡尔曼滤波 粒子过滤器 路径规划 PID控制 SLAM 额外信息 对于每个...
Udacity-Personal_Blog_Website
08-03
在本项目"Udacity-Personal_Blog_Website"中，我们主要关注的是构建一个个人博客网站，其中特别提到了“Mona餐厅页面”。这个项目涉及到的核心技术是HTML（超文本标记语言），它是网页开发的基础，用于描述网页的...
Udacity-Descriptive_Statistics_Project
05-02
Udacity-描述性统计项目 这是Udacity的描述性统计课程的最后一个项目。 它是免费完成的，因此Udacity不会对其进行审核。 我希望收到有关该项目的反馈，这将有助于增进我对该项目的了解。 项目概况 这个项目是通过...
强化学习开发环境搭建与入门实验——CliffWalking与CartPole
亦梦亦醒乐逍遥的博客
10-06 5272
本文讲解了强化学习的环境配置+服务器特殊配置+CliffWalking和CartPole的代码解析
强化学习 Sarsa 实战GYM下的CliffWalking爬悬崖游戏
Xurui_Luo的博客
06-18 3212
CliffWalking 如下图所示，S是起点，C是障碍，G是目标 agent从S开始走，目标是找到到G的最短路径 这里reward可以建模成-1，最终目标是让return最大，也就是路径最短 代码和解释 import gym import numpy as np import time # agent.py class SarsaAgent(object): def __init__(self, obs_n, act_n, learning_rate=0.01, gamma=0.9, e_
【python】CliffWalking悬崖寻路问题
lorogy的博客
09-13 538
机器学习：监督学习、非监督学习、强化学习模仿人类和动物的试错机制进行学习智能体与环境交互，根据当前的环境状态s，按照一定策略采取行动a，获得回报r目标：获取最大累积期望回报。
RL笔记：基于策略迭代求CliffWaking-v0最优解(python实现)
chenxy_bwave的专栏
03-05 1693
CliffWalking-v0是gym库中的一个例子[1]，是从Sutton-RLbook-2020的Example6.6改编而来。不过本文不是关于gym中的CliffWalking-v0如何玩的，而是关于基于策略迭代求该问题最优解的实现例。这个游戏非常简单，不用计算，直觉就可以知道，最优策略是：在出发点向上走一格；然后在第3行一路右行；到达最右侧后向下移动一格后即到达目标网格。总的奖励是-13点。 以下给出基于策略迭代算法来求解这个问题的最优策略，看看能不能得出以上直觉上的最优策略。
Python神经网络学习(六)--机器学习--强化学习
朱少强的博客
05-11 2276
强化学习是Reinforcement Learning，我也不知道为什么把Reinforcement翻译成强化，按照我的英语水平，inforce（应该是通enforce)是强迫，re-代表又，就是一再强迫，就是强迫一个东西一遍又一遍的学习。这也突出了强化学习的本质：一遍又一遍。就好像小时候我们玩红白机，super mario的时候，一遍又一遍的玩，我们玩那个游戏的过程就可以成为强化学习的过程。今天带来精确计算的悬崖徒步强化学习。
强化学习QLearning算法 CliffWalking-v0环境使用介绍
limafang的博客
06-16 429
QLearning是一种用于强化学习的算法,它可以用于找到一个Markov决策过程(MDP)中的最优行动策略。它的主要思想是:
强化学习之gym初战实战案例:悬崖案例CliffWalking-v0。
qq_43391414的博客
11-27 7619
文章目录强化学习简介gym简介不踩悬崖走到终点实战 强化学习简介 我们知道，强化学习广泛应用于玩一些较为简单的游戏，其思想就是：过一段时间（例如0.1秒）拍一张（游戏）图片，然后机器看一下，看完之后做出决定，下一步应该干些什么，例如是往左移动还是往右移动，还是射击。执行完这一步动作之后，机器会读取游戏的分数，如果分数高机器就会记住，以后遇到那个图片的时候就走这一步，相反，如果分数低或者直接被敌人杀了，机器就会记住下次再遇到那个图片，就不走那一步了。如此反复下去，直到学会怎么玩游戏。 在这个例子中，机器（玩家
强化学习之Sarsa算法最简单的实现代码-（环境：“CliffWalking-v0“悬崖问题）
guihaiyuan123的博客
03-03 3778
1、算法简介 直接上伪代码： 伪代码解释： 第一行：①设置动作空间A和状态空间S，以后你agent只能执行这A中有的动作，你环境的状态也就S中这么些； ②初始化Q表格，也就是表格的横坐标为动作，纵坐标为状态，每个格子里面的值表示：纵坐标对应的状态s下，执行横坐标对应的动作a，后环境反馈回来的奖励值r(注意啊，这个奖励值先开是都初始化为0啥的，然后不断的episode，这整个表不断的更新，不断的确定哪个状态执行哪个动作奖励是多少，宏观上就是agent不断的确定，不断的...
无人驾驶汽车：udacity纳米学位项目-源码
03-16
无人驾驶汽车：udacity纳米学位项目-源码是一个开源项目，旨在帮助人们学习和开发无人驾驶汽车技术。该项目由Udacity公司开发，提供了一系列课程和实践项目，帮助学员了解无人驾驶汽车的基本原理、算法和技术，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值