强化学习&时间差分4.1 | TD与MC方法的不同

最新推荐文章于 2022-02-06 02:03:40 发布
最新推荐文章于 2022-02-06 02:03:40 发布
阅读量441 收藏 2
点赞数 3
分类专栏： 游戏AI 文章标签： 人工智能 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43236007/article/details/114444034
版权

蒙特卡洛学习方法需要结束一个片段以此计算回报，然后用回报来计算动作值,举个例子，在自动驾驶中，MC方法需要每次都撞车才能从中学习。现实游戏中的实际情况更多是在每一步就能估算获胜的概率，而不是等一个阶段结束了，再看看自己是否获胜。而TD方法在每个时间步都能修改预测，而不是等互动结束后才更新值，这样的话你能够使用TD学习解决continuous任务和episode任务。

MC方法中在状态1下估计的retuun是6，但是收集完episode后return是8，MC方法会将值更新到6到8之间的某个
在这里插入图片描述
TD方法是只用状态1下的后一个状态2的值来更新Q表，状态1的值被更新为6.2
用状态2下的后一个状态3的值来更新Q表，状态1的值被更新为8.2

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ASKCOS
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
4.1 概率论&随机变量｜概率统计｜程序员数学
08-31
4.1_概率论&随机变量｜概率统计｜程序员数学
强化学习6-MC与TD的比较-实战
weixin_30488085的博客
02-18 435
# encoding:utf-8 import numpy as np import matplotlib.pylab as plt ''' 随机行走问题 0 - 1 - 2 - 3 - 4 - 5 - 6 e s e 0终点r为0. 6终点r为1 中间每个选择r为0 策略 [-1, 1] 每种选择0.5， -1向左，...
浅谈DP、MC、TD方法的区别与联系
qq_36013249的博客
05-01 4502
引言 Dynamic Programming, Monte Carlo, Temporal Difference是强化学习过程中最基础的三种算法，本文主要总结一下这三种方法的区别与联系； 强化学习模型本质上是一个随机过程，可以用概率图模型来描述，就像 HMM 可以使用有向图来描述，马尔可夫网可以使用无向图来描述，强化学习对应的图模型是Finite Markov Decision Process（...
DQN笔记：MC & TD
qq_40206371的博客
11-08 3683
1 前言 传统的强化学习算法会使用表格的形式存储状态值函数V(s)或状态动作值函数Q(s,a)，但是这样的方法存在很大的局限性。【强化学习笔记：Q-learning_UQI-LIUWJ的博客-CSDN博客】 现实中的强化学习任务所面临的状态空间往往是连续的，存在无穷多个状态，在这种情况下，就不能再使用表格对值函数进行存储。 在 Q-learning 中，我们使用表格来存储每个状态 s 下采取动作 a 获得的奖励，即状态-动作值函数Q(s,a)。然而...
强化学习（2）——基于MC和TD的值函数估计
jmhIcoding
07-01 3335
上一章基础博客【强化学习（1）—— 马尔科夫过程与强化学习】https://blog.csdn.net/jmh1996/article/details/94389616 的最后我们提到强化学习的本质是在马尔科夫决策过程中求得一个最优策略，而且我们指出确定性的最优策略为： 也就是说如果我们知道对于给定的状态sss 的所有q(s,a)q(s,a)q(s,a) 的值，那我们设置使得q(s,a)q(s,...
强化学习笔记四 DP, MC, TD小结
thormas1996的博客
10-12 3350
前两篇介绍了三种RL方法，DP，MC和TD，本篇进行一个总结和对比。 Backup 先来看看backup的区别： DP MC TD Bootstrapping & sampling Bootstrapping指更新中包含估计值，sampling指用期望来更新 DP Bootstrap, does not sample MC no Bootstrap, sample TD Bootst...
强化学习《基于价值 - MC方法和TD方法》
qq_29367075的博客
11-29 526
这一期的RL学习全是学习自李宏毅老师的教程，在自己多次学习后，自以为比较能理解后，才写下来了的。因此很多截图呢直接来自李宏毅老师的截图，很多地方我就不亲自写式子了。 本文讲解Value-Based的方法。 一：基本介绍 我们之前在policy-based中学习的是一个Actor，也就是输入一个S，输出一个Action（各个Action的概率，取最大概率的Action）。 现在我们是 value-based 的方法，那么就是要去学习一个critic，它不直接采取行动，它是对现由的Actor做出好坏的评价。
4.1 DQN 算法更新 using Tensorflow (强化学习 Reinforcement Learning 教学)
08-31
#4.1_DQN_算法更新_using_Tensorflow_(强化学习_Reinforcement_Learning_教学)
4.1 最邻近规则分类(K-Nearest Neighbor)KNN算法
04-02
4.1 最邻近规则分类(K-Nearest Neighbor)KNN算法
AbyssmediaMCRSSystem(多声道录音工具) v4.1.1.0官方版
11-09
Abyssmedia MCRS System是一款专业级别的多声道录音软件，专为需要同时处理多个音频输入源的用户设计。它的最新版本v4.1.1.0提供了强大的录音和管理功能，使得用户能够轻松应对复杂的音频录制任务。 首先，让我们...
DriverFinder（电脑驱动升级软件）官方正式版V4.1 | 最好的电脑驱动软件之一
04-05
DriverFinder（电脑驱动升级软件）官方正式版V4.1 ，最好的电脑驱动软件之一。
Silver-Slides Chapter 4 - 蒙特卡洛方法（MC）与时序差分 （TD）
MrTriste的博客
04-12 1674
Chapter 4 - MC-TD Introduction Last lecture: Planning by dynamic programming Solve a known MDP This lecture: Model-free prediction Estimate the value function of an unknown MDP N...
增强学习Reinforcement Learning经典算法梳理3：TD方法
热门推荐
Flood Sung的专栏
05-12 5万+
1 前言在上一篇blog中，我们分析了蒙特卡洛方法，这个方法的一个特点就是需要运行完整个episode从而获得准确的result。但是往往很多场景下要运行完整个episode是很费时间的，因此，能不能还是沿着bellman方程的路子，估计一下result呢？并且，注意这里，依然model free。那么什么方法可以做到呢？就是TD（temporal-difference时间差分）方法。有个名词注意一
一文让你看懂如何用MC和TD方法解决“开车回家”问题
野生蘑菇菌的博客
04-08 595
一文让你看懂如何用MC和TD方法解决“开车回家”问题引言问题描述求解致谢 引言 在学习《强化学习导论的》的过程中，都逃不过一个经典的强化学习案例—开车回家问题。 下面我们就来分析，如何用MC和TD方法预测回家总时间。 问题描述 每天下班回家时，您都会尝试预测回家需要多长时间。当您离开办公室时，您会记下时间，星期几，天气以及其他可能相关的内容。说这个星期五你正好在6点钟离开，你估计要回家需要30分钟...
强化学习笔记4-MC,TD方法
weixin_39328611的博客
03-14 492
不需建模的策略评估 先复习需要建模的方法 动态programming：我们需要model，P,R 无需建模的： R（s）累计的瞬时reward 其期望为Vπ(s)V^{\pi}(s)Vπ(s) Vπ(s)V^{\pi}(s)Vπ(s)的估计 不用模型计算R（s） 采用从s开始的N trajectories有的reward：R1,R2,R3… Monte Carlo 方法 V（s）的近似值为1/N Rk的和 ，近似期望 估计值收敛到实数期望，variance收敛到0，方差很大 通过迭代平均来完成 很浪费
【强化学习】读书手札：动态规划(DP)&蒙特卡洛(MC)&时序差分(TD)区别
兴趣使然的创作者
02-06 2354
DP、MC、TD、Sarsa、Q-learning
深度强化学习4——时序差分学习(TD)的Q learning和Sarsa learning
谢宜廷的博客
11-05 4275
前面我们讲到了蒙特卡洛方法在未知环境下求解马尔科夫决策过程(MDP)，然而蒙特卡洛方法也有自身的限制，蒙特卡洛方法就是反复多次试验，求取每一个实验中每一个状态s的值函数，也就是说，只要这个MDP是有终点的，我们就可以计算出每一个状态下的Return，也就是说蒙特卡罗法通过采样若干经历完整的状态序列(episode)来估计状态的真实价值，所谓的经历完整，就是这个序列必须是达到终点的。比如下棋问题分出...
强化学习(四) - 无模型学习(MC、TDL)
wei2white的专栏
11-05 623
上一节讲的是在已知模型的情况下，通过动态规划来解决马尔科夫决策过程(MDP)问题。具体的做法有两个：一个是策略迭代，一个是值迭代。 从这一节开始，我们将要进入模型未知的情况下，如何去解决MDP问题。 模型未知，即状态转移概率 Pass′Pss′aPss′aPass'Pss′a P^...
强化学习之Passive learning求解 (1)
weixin_53146190的博客
12-01 1174
在MDP系列博客中，我们以一个Agent在4*3网格中寻找终点最优的路径策略为例，论述了MDP问题的原理和求解。有了MDP讲解作为基础之后，我们就可以正式的切入到“强化学习”的学习中来了。强化学习的目的是通过观测到的reward来为当前环境学习一个（近似）最优的策略。在MDP系列问题中，我们有一个完整的环境模型并且reward函数也是已知的。 在本文中我们将假设一个fully observable的环境（即当前状态可以通过每一步的感知获取）。另一方面，我们假设Agent 不知...
java计算|-4.1|+2.12三次方-3Π的值
最新发布
03-25
double result = Math.abs(-4.1) + Math.pow(2.12, 3) - 3 * Math.PI; System.out.println(result); ``` 输出结果为：-3.585636843319583 解释： - Math.abs(-4.1) 计算绝对值，结果为 4.1。 - Math.pow(2.12, 3)...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ASKCOS

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值