强化学习&蒙特卡洛3.6 | 通过episode更新Q表

最新推荐文章于 2024-10-06 10:57:42 发布
最新推荐文章于 2024-10-06 10:57:42 发布
阅读量667 收藏 4
点赞数
分类专栏： 游戏AI 文章标签： 人工智能 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43236007/article/details/114439578
版权
本文探讨了在强化学习中如何利用episode更新Q表。通过介绍更新Q值的公式，解释了如何计算差值，并指出随着episode数量增加，Q值的变化会逐渐减小。为解决这一问题，引入了步长α来调整更新权重，使得后期的回报更能影响Q值估算。伪代码展示了具体的更新过程。
摘要由CSDN通过智能技术生成

经过每一个episode，我们可以对Q表中的动作状态值进行更新，采取的公式如下
在这里插入图片描述
假设当前有4个相同状态和动作的episode，计算Q值得过程如下
在这里插入图片描述
完善我们公式后，发现更新的差值就是过去得到回报与当前回报相减，然后再乘以总体episode数量的倒数
在这里插入图片描述
但是随着episode的增多，导致分母N变得很大，变化会变得越来越小，导致变化可以忽略不计
在这里插入图片描述
我们将除以平均值得做法替换为步长α࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ASKCOS
关注
专栏目录
订阅专栏
强化学习&蒙特卡洛3.3 | Q表
ASKCOS博客
03-06 498
得到各种状态下采取各个动作的reward后可以建立通过动作状态函数建立Q表，Q表中的值意思是在当前状态下如果采取某个动作，然后一直按照当前策略执行到terminal状态的回报
强化学习从基础到进阶-案例与实践[3]：表格型方法：Sarsa、Qlearning；蒙特卡洛策略、时序差分等以及Qlearning项目实战
丨汀、的博客
06-23 363
强化学习从基础到进阶-案例与实践[3]：表格型方法：Sarsa、Qlearning；蒙特卡洛策略、时序差分等以及Qlearning项目实战
寻宝 Q-learning改版，显示Q表更新，注解版
蓝镜炒饭的博客
04-30 415
import numpy as np import pandas as pd import time # np.random.seed(2)# 再生成一个随机数种子 N_STATES = 6 # 状态数 ACTIONS = ["left", "right"] # 动作 EPCILON = 0.9# 贪婪度 ALPHA = 0.1# 学习率 GAMMA = 0.9# 奖励递减值 MAX_EPISODE = 13# 最大回合数 FRESH_TIME = 0.1# 更新间隔 def build_q_tabl
深度强化学习中收敛图的横坐标是steps还是episode？
最新发布
qq_45889056的博客
10-06 417
在深度强化学习（Deep Reinforcement Learning, DRL）的收敛图中，横坐标选择steps或者episodesstepsstepsstepsstepsepisodes。
强化学习学习总结（二）——QLearning算法更新和思维决策
Raoodududu的博客
09-30 9430
QLearning        QLearning并没有直接将这个Q值（q_target是估计值）直接赋予新的Q，而是采用渐进的方式类似梯度下降，朝target迈近一小步，取决于α,这就能够减少估计误差造成的影响。类似随机梯度下降，最后可以收敛到最优的Q值。  一、QLearning算法思维   二、QLearning算法更新思维   1.导入模块 from maze...
强化学习入门（二）强化学习MDP四元组，Q表格的概念和更新策略
AItrust的博客
06-18 4648
本文内容源自百度强化学习 7 日入门课程学习整理 感谢百度 PARL 团队李科浇老师的课程讲解 文章目录一、强化学习MDP四元组1.1 状态转移概率1.2 如何描述环境1.3 Mode-free 试错探索二、Q 表格1.1 Q 值表格概念1.2 Q 表格的目标导向型1.3 实践：悬崖问题（快速到达目的地）三、强化学习更新 Q 表格3.1 Temporal Difference 时序差分（TD单步更新）3.2 与环境交互四、相关方法和策略4.1 Epsilon Greedy 方法4.2 On-Policy.
强化学习 之 蒙特卡洛方法
Mrsgflmx的博客
09-30 883
（1）蒙特卡洛方法是一类广泛的计算方法，依赖于重复随机抽样来获得数值结果。即基于大数定理的一种数学方法。 （2）用蒙特卡洛方法的时候如果sample出的状态出现循环，导致永远无法停止该怎么处理？ 可以根据具体任务和环境检测重复出现的状态进行”剪枝“等处理。 （3）蒙特卡洛方法适用环境？ 在强化学习问题中，我们可以用马尔可夫决策过程（MDP）和相关算法找出最优行动值函数，它通过策略迭代和值迭代找出最佳策略。 这是个好方法，可以解决强化学习中随机动态系统中的许多问题，但它还有很多限制。比如，现实世界中是否真..
强化学习(Reinforcement Learning) 原理与代码实例讲解
AI天才研究院
10-03 1117
强化学习(Reinforcement Learning) - 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍
在线学习的深度强化学习——Online Reinforcement Learning for Learning
AI天才研究院
09-01 2602
在人工智能和机器学习领域，深度强化学习（Deep Reinforcement Learning，DRL）已经成为一个备受关注的研究方向。传统的强化学习方法在处理高维状态空间和复杂决策问题时往往力不从心，而深度强化学习通过结合深度学习的强大表示能力，极大地扩展了强化学习的应用范围。然而，在实际应用中，我们常常面临着动态变化的环境和持续输入的数据流，这就要求学习算法能够实时地适应新的情况，不断调整和优化决策策略。在线学习（Online Learning）作为机器学习的一个重要分支，专门解决在。
强化学习系列（五）：蒙特卡罗方法（Monte Carlo)
热门推荐
LagrangeSK的博客
07-27 2万+
一、前言 在强化学习系列（四）：动态规划中，我们介绍了采用DP方法求解environment model 已知的MDP，本章将介绍一种无模型的强化学习方法——蒙特卡洛方法（Monte Carlo)。...
数模笔记更新篇-1-蒙特卡罗模拟（上）
weixin_46130146的博客
01-23 933
蒙特卡洛模拟 一：布丰投针实验： 步骤： 1：取一张白纸，在上面画出许多条间距为a的平行线 2：去一根长度为l的针，随机的向纸张上投掷n次，观察针与直线相交的次数记为m 3：计算针与直线相交的概率 经过证明： p = (2 * l) / (pi * a) = m/n; 其中p为上述的概率 实验数据如下： 证明如下：（简单易懂的图片，o(￣▽￣)ｄ） %预备知识 %rand (m, n) 函数可以生成一个m*n的随机数矩阵，矩阵中所有的数都在[0,1]之间 rand(5,4)%生成5*4的矩阵 rand
Reinforcement-Learning:使用Q学习，DQN和DDQN进行强化学习
03-29
强化学习 深度学习：优化 创建人：Vithurshan Vijayachandran和Hisho Rajanathan RLearning_NOTEBOOK.ipynb-适用于基本（Q学习）和高级任务（DQN和DDQN）的Jupyter笔记本。 RL_Rport.pdf：报告所有研究结果和评估。 使用以下预训练模型来测试网络，因为重新训练非常耗时。 DQNTrainingModel.h5-测试DQN网络所需的文件 DDQNTrainingModel.h5-测试DDQN网络所需的文件 DDQNPERTrainingModel.h5 =使用PER网络测试DDQN所需的文件
数模更新篇-1-蒙特卡洛模拟（下）
weixin_46130146的博客
01-24 805
非线性规划规划问题 线性规划问题的复习 在学习非线性规划问题的过程中学到了蒙特卡洛模拟。 对于蒙特卡洛模拟的思路就是： 1：从约束条件中求出每个变量的范围 2：在上述范围中用随机生成若干组实验点，并验证他们是否满足所有的约束条件，若满足，则将其划分到可行组，之后从可行组中找到函数的最大值或最小值 注意：每一个决策变量都是有界的，才能用蒙特卡洛模拟出来随机数。 根据约束条件有时可以减少决策变量的个数 放朔技巧 由上述计算过程可以得到x1和x3的可能取值的范围，分别是[20, 30], [-10,
强化学习&蒙特卡洛3.1 | 动作集合 Episode
ASKCOS博客
03-04 369
将状态，动作，奖励直到状态结束的sequence命名为Episode, 智能体的任务就是去寻找能使累积期望奖励最大的策略
强化学习之Q-learning
mengdeer_Q的博客
02-24 975
以一个例子简单介绍了Q-learing的方法
Q-learning
无人机飞啊飞啊飞
08-05 453
Q-learning1. 强化学习的几个重要概念2. 例子3. Q表(Q table)4. Q表的更新5. DQN 1. 强化学习的几个重要概念 强化学习就是通过agent与envirenment的交互过程中，让agent学习到每步最佳决策的过程。 state action reward 2. 例子 接下来采用博客中的例子进行说明 上图红色方框就是我们的agent，任务是要在4x4的迷宫中找...
MATLAB强化学习实战(十四) 基于 DDPG 智能体的四足机器人运动控制
wangyifan123456zz的博客
11-13 8608
基于 DDPG 智能体的四足机器人运动控制四足机器人模型创建环境接口创建 DDPG 智能体指定训练选项训练智能体智能体仿真参考 这个例子展示了如何训练四足机器人使用深度确定性策略梯度(DDPG)智能体行走。本例中的机器人使用 SimscapeTM MultibodyTM 进行建模。有关 DDPG 智能体的更多信息，请参见双延迟的深度确定性策略梯度智能体。 在 MATLAB 中将必要的参数加载到基本工作空间中。 initializeRobotParameters 四足机器人模型 这个例子的环境是一个四足机
强化学习-概念01：reward（采取某一行为后立即得到的好处）、return（一个episode中所有的reward的综合）
u013250861的博客
11-30 615
强化学习-概念：reward（采取某一行为后立即得到的好处）、return（一个episode中所有的reward的综合）
Q-Learning参数更新部分详解
Xc_Liu的博客
07-11 2405
Q-Learning小结 近期学习了一下Q-Learning相关的内容，重点总结一下学习的难点，即Q-Learing的更新部分。 如莫烦大神的图解，在我们学习的状态下，有两种可行的动作，actionList如下： a1 继续学习 a2 去看电视 相应的在当前状态下，如果采取对某一动作，那么会对我们产生一定的影响，即受到惩罚还是奖励。我们设当前状态，即我们在学习的状态S1下，执行相应的action的奖惩情况： a1 a2 S1 -2 1 此表表示在S1状态下，如果采
Q-learning和SARSA是时序差分强化学习还是蒙特卡洛强化学习
07-20
Q-learning和SARSA都属于时序差分强化学习方法，而不是蒙特卡洛强化学习方法。 时序差分强化学习是一种结合了动态规划和蒙特卡洛方法的强化学习方法。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的估计值来逼近最优值函数。 具体来说，Q-learning和SARSA都是基于Q值函数的时序差分强化学习算法。 1. Q-learning：Q-learning是一种基于动态规划的无模型强化学习算法。它使用了时序差分（TD）方法，通过不断迭代更新Q值函数的估计值，使其逼近最优的Q值。Q-learning算法通过将当前状态和动作的估计值与下一个状态和动作的最大估计值相结合，来更新Q值函数的估计值。 2. SARSA：SARSA是一种基于时序差分的强化学习算法，也是一种模型-free的强化学习算法。SARSA算法使用了时序差分的方法，通过不断迭代更新Q值函数的估计值。与Q-learning不同的是，SARSA算法采用了一个策略（Policy）来决定下一个动作，并在更新Q值时使用下一个动作的估计值。 时序差分强化学习方法与蒙特卡洛强化学习方法相比，具有更高的效率和更好的适应性。它可以在每个时间步骤中进行更新，不需要等到任务结束后才进行更新，从而更快地收敛到最优策略。而蒙特卡洛强化学习方法则需要等到任务结束后才能获取完整的回报信息，进行全局更新。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ASKCOS

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值