【强化学习基础】蒙特卡洛 Monte Carlo算法

已于 2022-11-18 15:18:24 修改
阅读量1.1k 收藏
点赞数 1
分类专栏： 强化学习 机器学习 文章标签： 强化学习 深度学习
于 2022-11-18 15:17:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012925804/article/details/127923377
版权

https://www.youtube.com/watch?v=XRGquU0ZJok

Monte Carlo (蒙特卡洛) 是一类随机算法，通过随机抽样来近似解决计算问题。

用抽样来计算π

产生随机的点，然后计算落在圆内的概率，就可以得到π的近似值。

用蒙特卡洛计算定积分

随机在a-b区间内抽样n个点，然后计算f(x）的值，最后除以n，并乘上（b-a),其实可以理解为长x宽，计算平均值可以理解为平均高度，所以就是计算矩形的面积。

蒙特卡洛求期望

px是x的概率密度函数分布，fx是x的函数，所以fx的期望就是对fx*px求定积分。

步骤：

  1. 先根据概率密度函数px进行随机抽样，获得x；
  2. 然后计算fx的值，求出平均。
  3. 最后把Qn作为近似的期望
风可。
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DRL基础（五）——强化学习中的蒙特卡洛方法
二向箔
05-02 2208
【引言】前面利用马尔可夫决策过程这一数学工具对强化学习进行了形式化描述，并给出了强化学习智能体的目标函数。那么如何找到最优策略来最大化目标函数？最优策略存在吗？是唯一的吗？在回答这些问题之前，先考虑一下问题想细致一点。 首先，状态是智能体决策的依据，状态是连续的还是离散的？可不可以一一枚举出来？ 其次，智能体的动作是连续的还是离散的？可不可以很方便地列出来？ 假设状态和动作都是离散的并且能够方便地列出来，这样问题就变得好处理一些了，因为可以使用一张表格，将不同状态下的不同动作所对应的未来收益记录下.
强化学习之Grid World的Monte Carlo算法解析【MiniWorld】SYSU_2023SpringRL
zik的博客
04-21 660
例如，在图 3-5 所示的正方形内部随机产生若干个点，细数落在圆中点的个数，圆的面积与正方形面积之比就等于圆中点的个数与正方形中点的个数之比。Assignment1/mc.py 提供了一个示例模板，模板内容可根据需求使用和修改，但需要保证其是一个可运行的程序，运行结果需打印出最终收敛的 V 表 v ，以及使用 env.update_r(v) 后将 V 表的值同步至环境端后的渲染图形，输出格式不限制。为了更好地展现最终的策略，我们有一个打印策略的函数，用于打印当前策略在每个状态下智能体会采取的动作。
【机器学习】强化学习（三）蒙特卡洛算法
cxyhjl的博客
01-17 2420
策略迭代算法和价值迭代算法为什么可以得到理论上的最优解，在实际问题中使用价值有限？无模型算法三、蒙特卡洛算法蒙特卡洛(Monte Carlo)方法是一种基于样本的强化学习算法，它通过执行和学习代理（也就是我们编程的AI）环境交互的样本路径来学习。它不需要初始知识的模型，只依赖样本结果。蒙特卡洛算法主要用于求解策略估计和控制问题。对于复杂的问题，通过采样方法，我们可以获得近似解。这就是为什么蒙特卡洛...
蒙特卡洛估计举例
weixin_39699362的博客
06-16 481
计算期望Eqx1​∣x0​​logpθ​x0​∣x1​)]需要知道分布qx1​∣x0​和函数logpθ​x0​∣x1​。这个期望表示的是，在给定x0​的条件下x1​的概率分布q，对数概率logpθ​x0​∣x1​的平均值。其中，pθ​x0​∣x1​是参数化条件概率分布，参数由θ给出。qx1​∣x0​：你需要有q。
强化学习之蒙特卡洛方法
Gin077的专栏
09-27 1411
MC 预测：状态值 解决预测问题的算法会确定策略 \piπ 对应的值函数 v_\pivπ​（或 q_\piqπ​）。 通过与环境互动评估策略 \piπ 的方法分为两大类别： 在线策略方法使智能体与环境互动时遵守的策略 \piπ 与要评估（或改进）的策略相同。 离线策略方法使智能体与环境互动时遵守的策略 bb（其中 b\neq\pib≠π）与要评估（或改进）的策略不同。 状态 s\i...
【强化学习】蒙特卡洛方法
sword_csdn的博客
06-19 5670
蒙特卡洛算法仅仅需要经验，即从真实或者模拟的环境交互中采样得到的状态、动作、收益的序列，不需要关于环境动态变化规律的先验知识，却依然能够达到最优的行为。蒙特卡洛算法通过平均样本的回报lai ......
强化学习——蒙特卡洛算法
cjhcjq122108的博客
12-14 1985
与DP算法对比DP算法要求我们了解完整的环境知识。它更像是解决一个确定的有最优解的复杂问题。这类问题我们完全可以通过贝尔曼方程解出最优解，但是为了降低复杂度，我们选择了DP算法。这不像是一个智能体agent应该做的事，反倒像是一个计算方法。而与DP算法不同，MC方法不需要我们知道状态转移矩阵PPP，对于环境的了解和分析主要由agent通过学习获得。这样看来，MC方法更像是智能体在学习一样。基本思想通过大量采样来计算vπsv_\pi(s)vπ​s和qπsaq_\pi(s,a)q。
强化学习算法-基于python的蒙特卡洛算法monte-carlo实现
06-02
在本话题中，我们将聚焦于一种特定的强化学习算法——基于Python的蒙特卡洛（Monte Carlo）算法的实现。 蒙特卡洛方法源于统计学，它通过大量随机抽样来解决复杂问题。在强化学习中，蒙特卡洛方法常用于估算值函数...
蒙特卡洛.rar_强化学习_强化学习算法_蒙特卡洛_蒙特卡洛算法_蒙特卡罗
07-14
在强化学习的众多算法中，蒙特卡洛方法（Monte Carlo）占据着重要的地位，特别是在解决复杂问题时展现出了强大的能力。 蒙特卡洛算法，源自统计学中的随机抽样技术，它利用大量的随机试验来解决问题，尤其适用于...
RL - 强化学习 蒙特卡洛 (Monte-Carlo) 方法计算状态价值
Mystra
06-08 1196
蒙特卡洛方法是一种基于随机采样和统计的强化学习方法，用于估计值函数或优化策略，得名于摩纳哥的蒙特卡洛赌场，因为这种方法使用了大量的随机模拟。在蒙特卡洛方法中，智能体通过与环境的交互来学习，其基本思想是通过多次采样来估计状态或动作的值函数，并根据估计的值函数进行策略改进。在强化学习中，状态价值 (State Value) 是指在特定状态下，智能体能够从该状态开始执行一系列动作，并且按照某个策略进行决策，所能获得的期望累积回报。状态价值函数用于衡量状态的好坏程度，指导智能体在不同状态下，选择最优的行动。
强化学习算法：蒙特卡洛树搜索 (Monte Carlo Tree Search) 原理与代码实例讲解
最新发布
程序员光剑
07-28 184
强化学习算法：蒙特卡洛树搜索 (Monte Carlo Tree Search) 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：
强化学习（四）用蒙特卡罗法（MC）求解
01-06
作者：刘建平            编辑：陈人和            前  言 在强化学习（三）用动态规划（DP）求解中，我们讨论了用动态规划来求解强化学习预测问题和控制问题的方法。但是由于动态规划法需要在每一次回溯更新某一个状态的价值时，回溯到该状态的所有可能的后续状态。导致对于复杂问题计算量很大。同时很多时候，我们连环境的状态转化模型P都无法知道，这时动态规划法根本没法使用。这时候我们如何求解强化学习问题呢？本文要讨论的蒙特卡罗(Monte-Calo, MC)就是一种可行的方法。 蒙特卡罗法这一篇对应Sutton书的第五章和UCL强化学习课程的第四讲部分，第五讲部分。 章节目录 不基
基于蒙特卡洛的强化学习方法【附带代码实现】
一起加油~
07-10 1888
本文介绍了基于蒙特卡罗的强化学习方法，附带了代码实现。
《强化学习》第五章 蒙特卡洛方法
midnight_DJ的博客
12-11 6439
第五章 蒙特卡洛方法 文章目录第五章 蒙特卡洛方法5.1 蒙特卡洛预测例5.1 二十一点练习 5.1练习5.2例5.2 肥皂泡5.2 动作价值的蒙特卡洛估计练习5.35.3 蒙特卡洛控制练习5.4例5.3 解决二十一点问题5.4 没有试探性出发假设的蒙特卡洛控制5.5 基于重要度采样的离轨策略练习5.5例5.4 对二十一点游戏中的状态值的离轨策略估计例5.5 无穷方差练习 5.6练习5.7练习5.85.6 增量式实现练习5.9练习5.105.7 离轨策略蒙特卡洛控制练习5.11练习5.12（编程）*折扣敏感
强化学习--蒙特卡洛法
乐趣是人为构建的，构建是一种莫大的乐趣。
06-12 835
现实生活中，模型往往是未知的。我们使用蒙特卡洛采样一段机器与现实交互的s-a轨迹，来帮助机器改进自己。 cs234 蒙特卡洛的好处是，他不需要很多假设，例如不需要state是marcov的。 蒙特卡洛算法有两种:首次访问（仅使用每个轨迹当中s第一次出现时的回报对Vπ(s)V^\pi(s)Vπ(s)估计），每次访问（使用每个轨迹当中s每次出现时的回报对Vπ(s)V^\pi(s)Vπ(s)估计） 首次访问 每次访问 还有一个基于每次访问的变种，滑动平均，假定环境随着时间变化： 当然，当α>1N(s)\a
强化学习 蒙特卡洛模拟 一种model-free的强化学习方法
水野与小太郎的博客
08-07 1115
一、蒙特卡洛方法 动态规划方法是建立在模型已知的情况下，但是往往大多数情况下模型是未知的，实际应用中我们不可能完全了解一个环境的所有知识，比如说得出它的状态转移矩阵。这个时候蒙特卡洛算法就派上用场了，它只需要从经验（experience）中去学习，这个经验包括样本序列的状态（state）、动作（action）和奖励（reward）。得到若干样本的经验后，通过平均所有样本的回报（return）来解决强化学习的任务。 对于DP我们求解其价值函数V时，其方法是求解在当前状态下后续回报的期望即： 蒙特卡.
强化学习-An introduction之 蒙特卡洛方法（MC） 个人笔记
MrTriste的博客
07-05 2223
Chapter 5 Monte Carlo Methods 蒙特卡洛方法不像前面几章那样假设我们对环境有充分的知识（即知道状态转移概率等），而是从真实的experience或者模拟的experience（只知道state、action、reward）来进行学习。 这不是说MC方法不需要模型，而是模型不像之前几章那样提供足够的先验知识，在这里只用来生成experience。 There we ...
学习心得-强化学习【蒙特卡洛方法】
weixin_45739351的博客
03-23 929
上上图有个consistent（一致的），这是很重要的，因为使用 MC ε-greedy所得到的最优ε-greedy的策略，在实际应用中，就会把ε取消掉，将ε-greedy转成greedy来应用，所以ε要设置得很小。从一个策略出发，在每次迭代中，先求出该策略的所有(s,a)的q值，然后求平均得到最终q值【策略迭代算法在这步是先求出state value，再求出最终q值】，再通过最终q值来进行策略改进。接下来举例探讨ε-greedy的探索性，当ε=1时就是均匀分布，每个动作的概率是相同的。
强化学习（五）蒙特卡罗方法
m0_72748751的博客
02-28 1028
首先考虑给定策略的状态价值函数的蒙特卡罗方法。一个状态的价值就是从该状态开始的期望收益（期望的未来折扣奖励之和），因此一个显而易见的方法是，多次访问该状态后对观察到的收益进行平均，当访问次数足够多时，平均值会收敛于期望收益值（即该状态的价值），这就是所有蒙特卡罗方法的基础。假设给定一组遵循策略π并包含状态s的经验序列，我们希望估计该策略下状态s的价值vπ​s，每个序列中，状态s的出现称为对s的访问，一个序列s可能被多次访问。与。
Percolation问题与Monte Carlo模拟算法解析
这份作业旨在让学生掌握概率模型的计算方法、蒙特卡洛模拟技术以及优化数据结构的使用，同时加深对排序算法性能的理解。通过完成这个任务，学生将提升其在算法设计、分析和编程实践方面的能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值