强化学习总结(3-4)——无模型的价值函数的预测，蒙特卡洛和TD时序差分方法

最新推荐文章于 2023-12-28 19:49:18 发布
最新推荐文章于 2023-12-28 19:49:18 发布
阅读量328 收藏 1
点赞数
分类专栏： 强化学习 文章标签： 机器学习 强化学习 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38800089/article/details/111409916
版权

文章目录

强化学习总结(3-4)

​ 最近呢，搞完有模型的强化学习之后，接下来就开始搞无模型的强化学习，发现还是无模型的强化学习应用场景比较多，而且更加烧脑liaoer。

在这里插入图片描述

在这里插入图片描述

​ 上面第一张图是我们的model-base RL，第二张图是我们的model-free RL，这里呢，可以看到model-base RL是没有和环境的一个交互，换句话说呢没有实际的交互，因为那个环境中的转移概率P我们是已知的，R也是已知的，我们只需要按照价值函数期望公式就能算出价值函数，以及optimal policy。然鹅，model-free RL它不知道P啊，它木得办法啊，它只能去交互，在实际操作中看看我各个状态间的转移概率是多些，转移的回报是多些。

无模型

预测价值函数

蒙特卡洛

​ 所以，对于model-free的情况，它只能用蒙特卡洛的方法采样多个轨迹进行平均，才能得到价值函数啊。而我们的model-base用动态规划预测，它就不用了采样了啊，因为它都知道各个状态的转移情况也就是模型，所以能遍历所有的状态和动作。

时序差分（TD）学习

​ 这里呢，和蒙特卡洛类似，只不过它是走m步(获得m个R)就更更新一下当前状态的价值函数，通过不停地迭代和bootsrapping，达到一个收敛状态，我们就说ok了，价值函数找到了。

下面就是两个的区别，翠花~，上酸。。图：

在这里插入图片描述
在这里插入图片描述
此前的内容都是value-base RL学派的内容，接下来讨论policy-base Rl学派的内容。

菜且凶残_2017
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于蒙特卡洛树搜索和策略价值网络（强化学习）的AI五子棋算法
04-11
python编写，即跑即用，no bugs，有训练好的model。 使用蒙特卡洛树搜索与深度神经网络来设计一种基于强化学习的AI五子棋算法，实现了从零开始学习五子棋博弈的人工智能算法。
强化学习(四) - 无模型学习(MC、TDL)
能能
10-17 5943
上一节讲的是在已知模型的情况下，通过动态规划来解决马尔科夫决策过程(MDP)问题。具体的做法有两个：一个是策略迭代，一个是值迭代。 从这一节开始，我们将要进入模型未知的情况下，如何去解决MDP问题。 模型未知，即状态转移概率 Pss′aP^a_{ss′}Pss′a​ 这些我们是不知道的。所以我们无法直接利用如下Bellman方程来求解V和Q值得到最优策略。 所以，为了能够从环境中学习，我们需要让...
3. 强化学习之——无模型的价值函数估计和控制
June
06-09 1854
本次课程主要内容： model-free prediction：估计一个未知 MDP 模型的 value function model-free control：优化一个未知 MDP 模型的 value function 回顾上次课讲的马尔科夫决策过程： 什么叫MDP已知：Agent 已知奖励函数 R 和状态转移矩阵 P，这也是我们进行策略迭代policy iteration和值迭代value iteration寻找最佳策略的基本要求 策略迭代包含：policy evaluation + poli
强化学习系列6：有模型的价值迭代方法
kittyzc的博客
12-28 796
1. 价值迭代算法 价值迭代方法在迭代过程直接更新行动的值函数。那么它和上一节限制最大迭代次数为一的策略迭代有什么不同呢？ 策略迭代法的核心是策略，每一轮的价值计算出来是为了更新策略用的，直观来看代码上有更新策略Π\PiΠ的代码；而在价值迭代法中，核心是价值，每一轮迭代都是用上一轮的价值和这一轮的行动来更新价值VVV，收敛后才用这个数据来给出策略。 价值迭代算法的核心公式为：V′=max⁡aΠP(...
强化学习 4 —— 时序差分法（TD）的解决无模型的预测与控制（SARSA and Q-Learning）
靡不有初鲜克有终
08-09 4092
强化学习 4 —— Model Free TD 在上篇文章强化学习 3 ——蒙特卡洛 (MC) 采样法的预测与控制中我们讨论了 Model Free 情况下的策略评估问题，主要介绍了蒙特卡洛（MC）采样法的预测与控制问题，这次我们介绍另外一种方法——时序差分法（TD） 一、时序差分采样法（TD） 对于MC采样法，如果我们没有完整的状态序列，那么就无法使用蒙特卡罗法求解了。当获取不到完整状态序列时， 可以使用时序差分法(Temporal-Difference, TD)。 1、TD 简介 对于蒙特卡洛采样法计算
强化学习3：蒙特卡洛和时序差分
小辉的数学博客
02-23 1441
蒙特卡洛算法和时序差分算法，SARSA和Q-learning
【强化学习】基于蒙特卡洛MC与时序差分TD的简易21点游戏应用
最新发布
HYY的博客
12-28 1275
本次实验所应用的三种策略Q-learning、Sarsa和蒙特卡洛都是解决强化学习问题的算法，它们在学习过程中都通过与环境的交互来优化策略。且都用于值函数估计，这三种算法的目标都是学习状态或状态动作对的值函数，即Q值或V值。更新方式不同：Q-learning： 使用了离线学习的方式，通过选择当前状态下值最大的动作来更新Q值。更新公式中使用了max操作。Sarsa： 使用在线学习的方式，通过选择当前状态下的某个动作来更新Q值。更新公式中使用了当前实际选择的动作。蒙特卡洛： 通过整个回合（
强化学习(四)——蒙特卡洛和时序差分
乘风破浪2014
04-27 3026
强化学习中有两类问题，一是预测问题，即已知，二是控制问题，即。 TD有偏差，但方差小 MC无偏差，但方差大 偏差：预测值与真实值之间的差距 方差：预测值与期望之间的差距，关注预测值的离散程度。 ...
强化学习(四)：蒙特卡罗学习(MonteCarlo)与时序差分学习(TD learning)
热门推荐
01-20 3万+
上一节讲的是在已知模型的情况下，如何去解决一个马尔科夫决策过程(MDP)问题。方法就是通过动态规划来评估一个给定的策略，通过不断迭代最终得到最优价值函数。具体的做法有两个：一个是策略迭代，一个是值迭代。从这一节开始，我们将要进入模型未知的情况下，如何去解决一个MDP问题的方法。 从本讲开始会用两讲的时间讨论解决一个可以被认为是MDP、但却不掌握MDP具体细节的问题，也就是讲述如何直接从Agent
强化学习——day29 时序差分算法（TD）
想太多的学习日志
09-26 426
MC更吃资源，而TD低方差，收敛效率较高 Gt ——回报 反向求得Rt+1 与一步时序差分的区别在于，比如下棋，有的人能看到一步棋，有的人能看到多步之后，理性情况下，够看到更多步的人赢面更大；非理性情况下，n步的训练数据越长方差越大，所以不稳定性增长了。 动态规划DP：所有状态都知道，逐步更新 MC：看无穷远 TD：看一步 暴力搜素：遍历然后找最好的
Temporal-Difference Learning 时序差分学习
04-03
Temporal-difference (TD) learning可以说是增强学习的中心，它集成了蒙特卡洛思想和动态编程（dynamic programming, DP）思想，像蒙特卡洛方法一样，TD 方法不需要环境的动态模型，直接从经验经历中学习。
基于蒙特卡洛树搜索和策略价值网络（强化学习）的AI五子棋算法设计.docx
02-25
论文、报告形式阐述此算法，近2w字，非常详细、格式标准、可编辑。
行业分类-设备装置-基于蒙特卡洛算法构建能量函数的碎纸图片拼接方法.zip
08-31
行业分类-设备装置-基于蒙特卡洛算法构建能量函数的碎纸图片拼接方法.zip
第4课 强化学习中的蒙特卡洛方法
10-17
第4课 强化学习中的蒙特卡洛方法
强化学习3——有模型（Model-base）与无模型（Model-free）RL的区别
渣渣屋
12-10 1万+
文章目录强化学习——有模型（Model-base）与无模型（Model-free）RLModel-base RLModel-free RL 强化学习——有模型（Model-base）与无模型（Model-free）RL Model-base RL ​ 在这个过程中，agent 没有跟环境进行交互，环境的所有信息（转移概率和价值函数都给了，不需要自己探索）都具有了。 Model-free RL ​ 在这个过程中，agent没有环境的信息，需要跟环境进行交互，采集到很多的轨迹数据，agent 从轨迹中获取信
强化学习6——Value-based RL和Policy-based RL 的区别
渣渣屋
12-18 1624
Value-based RL和Policy-based RL 的区别 ​ Value-based RL 都是确定的一个策略：at=arg⁡max⁡aQ(a,st)a_{t}=\arg \max _{a} Q\left(a, s_{t}\right)at​=argmaxa​Q(a,st​)。 ​ Policy-based RL 产生的是各个动作的概率：πθ(a∣s)\pi_\theta(a|s)πθ​(a∣s)。例如下图用神经网路来构建策略，θ\thetaθ可以看做是各个连接层之间的参数，输入的是游戏的像
强化学习1——策略，价值函数，模型
渣渣屋
12-04 1262
文章目录强化学习——概述组成策略：行为函数价值函数：状态和行为的得分模型：整个世界的表达 强化学习——概述 组成 策略：行为函数 ​ 分为两种： ​ 概率型策略：从策略π\piπ中，按照概率π(a∣s)=P(at=a∣st=s)\pi(\mathrm{a} \mid \mathrm{s})=\mathrm{P}\left(\mathrm{a}_{\mathrm{t}}=\mathrm{a} \mid \mathrm{s}_{\mathrm{t}}=\mathrm{s}\right)π(a∣s)=P(at​
强化学习4——无模型控制model-free control （On-Policy learning：Sarsa和Off-policy learning：Q-learning）
渣渣屋
12-14 1071
文章目录前言无模型控制问题思路方法On-Policy learningMCSarsaOff-policy learningQ-learningOn-Policy learning 和 Off-policy learning的区别 前言 本文是学习周博雷老师的强化学习课程的心得体会。 雷大佬的GItHub 无模型控制 问题 ​ 当我们不知道 MDP 模型的情况下，如何优化价值函数，得到最佳的策略。 思路 ​ 这里和有模型的控制策略的估计有一个不同是，我们这里使用MC方法来估算Q函数。其余的和无模型的控制是一样
Q-learning和SARSA是时序差分强化学习还是蒙特卡洛强化学习
07-20
Q-learning和SARSA都属于时序差分强化学习方法，而不是蒙特卡洛强化学习方法。 时序差分强化学习是一种结合了动态规划和蒙特卡洛方法的强化学习方法。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值