强化学习&蒙特卡洛3.4 | Every-visit 和 First-visit MC

最新推荐文章于 2022-01-15 16:07:35 发布
最新推荐文章于 2022-01-15 16:07:35 发布
阅读量2k 收藏 5
点赞数 4
分类专栏： 游戏AI 文章标签： 强化学习 游戏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43236007/article/details/114437190
版权
本文探讨了在强化学习中处理长episode时，面对同一状态执行相同动作得到不同回报的情况。介绍了Every-visit蒙特卡洛方法，它计算所有访问该状态的回报平均值，以及First-visit蒙特卡洛方法，仅考虑首次访问状态的回报。
摘要由CSDN通过智能技术生成

对于一个较长的episode，如果出现了在同种状态下采取相同动作得到不同回报，有两种处理方式。
第一种名称为Every-visit MC是计算这几个的平均值，
第二种是First-visit MC只保留第一次的结果

在这里插入图片描述

ASKCOS
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
强化学习——蒙特卡洛方法
ys707663989的博客
06-22 1891
学习目标 理解Prediction和Control的差别； 理解什么是first-visit和every-visit； 理解什么是on-policy和off-policy； 理解蒙特卡洛方法的Prediction和Control问题； Prediction和Control 其实这两个名词在总结动态规划方法的文章中也提到过了，但是没有细说，这里再简单的说明一下。预测（Prediction）和控制（Control）是MDP中的两类问题： 预测问题 输入：MDP ⟨S,A,P,R,γ⟩\langle\mat
First visit and every visit MC
bossWww的博客
03-29 696
今天写RL中的MC算法的时候，卡在了First visit和Every visit这两种算法的区别上。一直没搞懂什么意思 这里因为有多个episode，每一个episode中使用第一次出现的Q(S,A)当做这个episode中的Q值，对多个episode中出现的Q(S,A)求和，然后分母是有多少个episode含有这个pair(S,A) 下面附上转载的代码： updated_values = {} ### PUT YOUR CODE HERE ### .
【强化学习】First-visit MC prediction
颹蕭蕭
04-02 2513
在未知环境的条件下，通过反复模拟获得样本数据，近似估计给定策略下的价值函数 vπv_{\pi}vπ​ import gym import numpy as np from matplotlib import pyplot import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from collections...
15、蒙特卡洛预测1
08-03
引入参数后的状态价值更新方法可以更改为：7. 蒙特卡洛预测算法伪代码7.1 首次访问型MC预测算法，用于估计7.2 蒙特卡洛ES（试探性出发），用于估计7.3
详解蒙特卡洛方法：这些数学你搞懂了吗？
机器学习算法那些事
01-29 949
蒙特卡洛方法作者：RayZhang转自：机器之心加州大学洛杉矶分校计算机科学专业的 Ray Zhang 最近开始在自己的博客上连载介绍强化学习的文章，这些介绍文章主要基于 Richar...
马尔科夫决策过程(MDP) : BlackJack问题(MC-ES)
机器会学习的博客
01-15 5118
马尔可夫决策过程，Blackjack情人，蒙特卡洛ES
蒙特卡洛.rar_强化学习_强化学习算法_蒙特卡洛_蒙特卡洛算法_蒙特卡罗
07-14
蒙特卡洛方法有两种主要形式：第一访问蒙特卡洛学习（First-Visit Monte Carlo）和每步访问蒙特卡洛学习（Every-Visit Monte Carlo）。前者只考虑每个状态在episode中的第一次访问，而后者则考虑每次状态被访问的...
基于蒙特卡洛树搜索和策略价值网络（强化学习）的AI五子棋算法
04-11
五子棋是一种策略性游戏，对于AI来说，理解和学习这种游戏的规则并作出最优决策是一项挑战。 首先，让我们理解蒙特卡洛树搜索（MCTS）。这是一种用于在决策过程中进行随机模拟的算法，广泛应用于游戏AI中。MCTS通过...
【jupyter notebook】强化学习中的蒙特卡洛方法-算法实现笔记
10-17
【jupyter notebook】强化学习中的蒙特卡洛方法-算法实现笔记
强化学习系列（五）：蒙特卡罗方法（Monte Carlo)
热门推荐
LagrangeSK的博客
07-27 2万+
一、前言 在强化学习系列（四）：动态规划中，我们介绍了采用DP方法求解environment model 已知的MDP，本章将介绍一种无模型的强化学习方法——蒙特卡洛方法（Monte Carlo)。...
强化学习笔记（一） Model-Free Policy Evaluation
LuoMin2523的博客
06-17 346
这篇笔记摘自周博磊老师的课件资料以及斯坦福大学cs234课程的课件资料，内容涉及model-free policy evaluation无模型的策略评估，包括MC算法以及TD算法，笔记的整理以问答的方式呈现。
强化学习 蒙特卡洛模拟 一种model-free的强化学习方法
水野与小太郎的博客
08-07 1115
一、蒙特卡洛方法 动态规划方法是建立在模型已知的情况下，但是往往大多数情况下模型是未知的，实际应用中我们不可能完全了解一个环境的所有知识，比如说得出它的状态转移矩阵。这个时候蒙特卡洛算法就派上用场了，它只需要从经验（experience）中去学习，这个经验包括样本序列的状态（state）、动作（action）和奖励（reward）。得到若干样本的经验后，通过平均所有样本的回报（return）来解决强化学习的任务。 对于DP我们求解其价值函数V时，其方法是求解在当前状态下后续回报的期望即： 蒙特卡.
David Silver强化学习笔记4
opencv_2012的专栏
03-14 529
本文是看David Silver的强化学习视频的时候记的笔记，整理了视频的思路，补充了一些证明。写博客 开始MC方法。 前面对策略估计和改进都是在模型(转移概率 + 奖励)已知的情况下进行的。如果模型未知(model-free)，怎么估计和改进策略呢？ 从前面章节看，策略估计和改进的大致分两步：计算状态值和动作-状态值估计策略，然后在此基础上用贪婪算法改进策略； 先看看MC方法如何计算值函...
5.蒙特卡洛方法--阅读笔记【Reinforcement Learning An Introduction 2nd】
木易进
08-23 1230
文章目录蒙特卡洛方法Monte Carlo method前言蒙特卡洛预测动作价值的蒙特卡洛估计蒙特卡洛控制无exploring starts的MC控制基于重要性采样的离线策略预测增量式实现off-policy的MC控制*discounting-aware importance sample*per-decision importance sample总结 蒙特卡洛方法Monte Carlo method 内容梳理： 本章主要介绍了RL中的另一种解决问题的方法MC方法，在阅读本章时要搞清楚MC和DP的区别以
蒙特卡洛方法 （Monte Carlo Method）（5）
xiaocong1990的博客
04-21 1416
与上一节动态编程（DP）方法不同的是，蒙特卡洛（Monte Carlo, MC）方法不需要环境的全部信息，而只需要 “experience”，这里的“experience”指的是 states、actions和环境的 rewards 的采样序列。在机器学习领域，不需要环境动态性的先验知识是非常重要的一个优点，蒙特卡洛方法从真实的或者仿真的 experience 中进行学习，虽然它也需要一个环境模型
深度强化学习3——蒙特卡罗方法（MC）
谢宜廷的博客
10-07 4274
前面我们介绍了用动态规划求解马尔科夫决策过程（MDP）,然而需要已知环境信息，然而现实环境很多都是未知的，我们会用什么方法求解呢？蒙特卡罗方法(MC)，时序差分学习(TD)都可以求解未知环境下的强化学习问题，本章主要介绍蒙特卡罗方法。 蒙特卡洛方法基本思想 当我们无法得到模型内容时，就需要通过不断模拟的方式得到大量相关的样本，并通过样本得到我们预期得到的结果，通常蒙特卡罗方法可以粗略地分成两类...
增强学习（四） ----- 蒙特卡罗方法(Monte Carlo Methods)
weixin_30808575的博客
02-22 939
1. 蒙特卡罗方法的基本思想 蒙特卡罗方法又叫统计模拟方法，它使用随机数（或伪随机数）来解决计算的问题，是一类重要的数值计算方法。该方法的名字来源于世界著名的赌城蒙特卡罗，而蒙特卡罗方法正是以概率为基础的方法。 一个简单的例子可以解释蒙特卡罗方法，假设我们需要计算一个不规则图形的面积，那么图形的不规则程度和分析性计算（比如积分）的复杂程度是成正比的。而采用蒙特卡罗方法是怎么计算的呢？首先你把...
Reinforcement Learning强化学习系列之二：MC prediction
luchi007的专栏
12-23 4013
引言 这几个月一直在忙找工作和毕业论文的事情，博客搁置了一段时间，现在稍微有点空闲时间，又啃起了强化学习的东西，今天主要介绍的是强化学习的免模型学习free-model learning中的最基础的部分蒙特卡洛方法（Monte Carlo），并以21点游戏作为说明。 本文主要参考的文献是[1]参考的主要代码是这位斯坦福大神的课程代码，本系列的文章均不作为商用，如有侵权请联系我的邮箱 Mo...
Q-learning和SARSA是时序差分强化学习还是蒙特卡洛强化学习
最新发布
07-20
Q-learning和SARSA都属于时序差分强化学习方法，而不是蒙特卡洛强化学习方法。 时序差分强化学习是一种结合了动态规划和蒙特卡洛方法的强化学习方法。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的估计值来逼近最优值函数。 具体来说，Q-learning和SARSA都是基于Q值函数的时序差分强化学习算法。 1. Q-learning：Q-learning是一种基于动态规划的无模型强化学习算法。它使用了时序差分（TD）方法，通过不断迭代更新Q值函数的估计值，使其逼近最优的Q值。Q-learning算法通过将当前状态和动作的估计值与下一个状态和动作的最大估计值相结合，来更新Q值函数的估计值。 2. SARSA：SARSA是一种基于时序差分的强化学习算法，也是一种模型-free的强化学习算法。SARSA算法使用了时序差分的方法，通过不断迭代更新Q值函数的估计值。与Q-learning不同的是，SARSA算法采用了一个策略（Policy）来决定下一个动作，并在更新Q值时使用下一个动作的估计值。 时序差分强化学习方法与蒙特卡洛强化学习方法相比，具有更高的效率和更好的适应性。它可以在每个时间步骤中进行更新，不需要等到任务结束后才进行更新，从而更快地收敛到最优策略。而蒙特卡洛强化学习方法则需要等到任务结束后才能获取完整的回报信息，进行全局更新。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ASKCOS

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值