model-free：Monte Carlo Methods-prediction

已于 2023-12-25 14:13:35 修改
阅读量965 收藏 21
点赞数 20
分类专栏： 强化学习 文章标签： 机器学习 人工智能 算法
于 2023-12-24 18:35:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66988867/article/details/135182801
版权

文章目录

前言

RL学习笔记——蒙特卡洛算法

Monte Carlo Methods（MC）

基于动态规划的求解值函数与策略需要知道环境的模型，也就是状态转移函数与奖励函数，而蒙特卡洛采样方法是不需要知道这些内容即可求解值函数与最优策略。

1.特点

MC方法直接从episodes的经验中进行学习，是基于model-free的算法，无需知道模型的转移函数，MC是从完整的episodes中进行学习，从一个状态出发到达最终状态中止，因此MC要求所有的episodes必须终止，其思想是平均回报代替价值。

2.策略评估

在给定策略 π \pi π下，从一系列的episodes经验中学习价值函数 v π v_{\pi} vπ​，采样序列为 { S 1 , A 1 , R 2 , . . . . . S k } \{S_1,A_1,R_2,.....S_k\} {S1​,A1​,R2​,.....Sk​}，计算带折扣的回报在这里插入图片描述
价值函数是回报的期望，MC策略评估采用每个状态的平均回报代替回报的期望。

3.first-visit MC策略评估

做法：针对某个状态 S i S_i Si​，在一次episode当中，只考虑第一次出现该状态的回报，在该次episode后续当中再次出现则不考虑。例如：
在这里插入图片描述
对于第一个eposide当中的红色点的状态，在该次采样当中出现了两次，但在多次采样后计算红色点状态的平均回报时，第一个episode当中只采样第一次出现红色点状态的回报

4.every-visit MC策略评估

做法：针对某个状态 S i S_i Si​，在一次episode当中，考虑每一次出现该状态的回报，多次采样后，对每个episode中出现过 S i S_i Si​的回报求平均回报。

5.价值函数更新方式

采用增量式均值更新方式，如图所示：
在这里插入图片描述
在MC策略评估中的更新步骤如下：
在这里插入图片描述

总结

MC更新方式图示：
在这里插入图片描述在这里插入图片描述

爱宇小菜涛
关注
专栏目录
reinforcement learning，增强学习：Model-Free Prediction
mmc2015的专栏
10-20 3198
首先回忆上一次的内容： 对于给定的MDP， 使用Policy Evaluation进行prediction（对于给定的policy π，evaluate该policy π能够达到的Vπ(s)） 使用Policy Iteration、Value Iteration进行control（没有特定的policy π，希望找到针对该MDP最优的policy π*，同时给出π*在每个状态的最
RLAI读书笔记-第五章-Monte Carlo
cuixuange的博客
08-26 373
Monte Carlo Methods 无模型的蒙特卡洛学习方法 Model free idea:未知转移概率矩阵,未知state-value函数 == 通过模拟计算得到(有限的情节任务) Monte Carlo使用模拟解决Markov Decision Process 5.1 MC Prediction MC基于抽样数据计算结果 e.g.游戏类都适合：完全信息博弈游戏，像围棋、...
Chapter 1 - 7: Monte Carlo Methods
wangwang的博客
04-06 634
Chapter 1 - 7: Monte Carlo Methods 1.7.1 Review   In order to rigorously define a reinforcement learning task, we generally use a Markov Decision Process(MDP) to model the environment. The MDP specifi...
RL(Chapter 5): Monte Carlo Methods (MC) (蒙特卡洛方法)
连理o的博客
11-11 1221
本文为强化学习笔记，主要参考以下内容： Reinforcement Learning: An Introduction 代码全部来自 GitHub 习题答案参考 Github 目录Monte Carlo Prediction Monte Carlo methods are ways of solving the reinforcement learning problem based on averaging sample returns, thus requiring only experiencee
MyDLNote - Attention : Attention U-Net: Learning Where to Look for the Pancreas
u014546828的博客
02-25 1519
Attention U-Net: Learning Where to Look for the Pancreas [paper]https://arxiv.org/abs/1804.03999 [pytorch]https://github.com/LeeJunHyun/Image_Segmentation Abstract We propose a novel a...
初探强化学习(6)到底TMD什么是model-based和model-free(基于模型的强化学习和基于模型的强化学习 TMD的到底是什么)
qq_33328642的博客
03-16 3481
0 如何定义无模型和有模型 在实际应用中，根据agent是否通过与环境交互获得的数据来预定义环境动态模型，将RL分为模型化强化学习和无模型强化学,具体如图１所示。 1 有模型的中的模型model到底指的是什么？ ----基于模型的强化学习指先在与环境交互的数据中创建环境动态模型，然后基于该模型学习最优策略。它一般包含状态转移预测和奖励预测两个独立模型。如果两个模型可以准确描述真正的环境动态模型，那么当输入一个状态和动作时就不需要与环境进行实时交互，可以直接基于模型预测得到新的状态和动作奖励，从而极大地提高
[Reinforcement Learning] Model-Free Prediction
weixin_37958272的博客
07-09 133
[Reinforcement Learning] Model-Free Prediction 蒙特卡洛学习 蒙特卡洛方法（Monte-Carlo Methods，简称MC）也叫做蒙特卡洛模拟，是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。其实本质就是，通过尽可能随机的行为产生后验，然后通过后验来表征目标系统。 在Model-Free的情况下，MC在强化学习中的应用就是获取价值函数，其特点如下： MC 可以从完整的 episodes 中学习（no bootstrapping） MC 以均值来
David Silver Lecture 4: Model-Free Prediction
weixin_43485943的博客
05-05 637
任务：第三章使用动态规划方法，解决known的MDP问题，这章通过model free prediction对一个unknown的MDP估计他的value function。下一章通过Model free control的方法针对一个unknown的MDP optimise value function。
[Chapter 4] Reinforcement Learning (2) Model-Free Method
超级超级小天才的博客
05-29 215
Model-Free RL Method In model-based method, we need firstly model the environment by learning/estimating the transition and reward functions. However, in model-free method, we consider learning the value/utility functions V(s)V(s)V(s) or U(s)U(s)U(s) or ac
Uncertainty Quantification and Monte Carlo Methods
# 1. Introduction ## 1.1 Problem Background and Overview Uncertainty is a ubiquitous phenomenon in the real world, present across various industries and domains. In many decision-making and ...
Mastering Monte Carlo Simulation: A Financial Application Guide in MATLAB
# Mastering Monte Carlo Simulation: A Financial Application Guide in MATLAB ## 1. Foundations of Monte Carlo Simulation ### 1.1 Overview of Monte Carlo Simulation Monte Carlo simulation is a ...
Optimize Your MATLAB Monte Carlo Simulations: Parallelization and Optimization Tips
Overview of MATLAB Monte Carlo Simulation Monte Carlo simulation is a numerical method based on random sampling to solve complex problems such as financial modeling, physical systems, and biomedical...
[CS294-112] model-based RL
Hazekiah的博客
12-28 1330
Control and Planning Open-loop Trajectory optimization methods assumptions: a (learned) dynamics model in hand objective: find the optimal action sequence that maximizes the expected return of the tra...
【文献阅读】Unsupervised Machine Learning for Bot Detection on Twitter
weixin_42726068的博客
09-11 484
引入新特征，并降低所提模型的复杂性，从而提高基于聚类算法的机器人识别准确性。最小化数据集维度和选择重要特征来实现的。实验证明该方法的特征可以与四种不同的聚类技术（agglomerating、k-medoids、DBSCAN 和 K-means）结合使用，以解决由缺失标签和异常值引起的机器人识别问题。通过选择排名靠前的特征并减少维度，达到了 0.99 的准确率。
【机器学习】从零开始理解深度学习——揭开神经网络的神秘面纱
擅长将自己的感受、想法、知识通俗地表达出来，会点前后端开发、自动化测试、性能测试、爬虫。将来可能学硬件、AI。但一定会写实用的脚本。
09-06 2910
深度学习是机器学习的一个重要分支，通过多层神经网络处理复杂数据，广泛应用于图像识别、自然语言处理等领域。我们将在这篇文章中揭开深度学习和神经网络的神秘面纱。
机器学习特征构建与特征筛选
西木风落
09-10 895
上一篇文章讲述了原始特征分析和处理，保障后续拿到的是干净的特征变量，但实际这些特征对于建模不一定是有效的，所以需要在原始特征的基础上，结合业务场景做特征变量的衍生，提升数据的表达能力。
机器学习2--matplotlib绘图包
最新发布
qq_54641174的博客
09-12 479
matplotlib画图
机器学习和深度学习的区别
不会代码的小林
09-11 669
综上所述，机器学习和深度学习在定义与起源、模型复杂度、数据需求、计算资源需求、特征学习能力以及应用范围与场景等方面都存在显著的区别。深度学习：则通常使用多层的神经网络模型，如卷积神经网络（CNN）、递归神经网络（RNN）等，这些模型复杂度高，包含大量的参数，能够处理更加复杂和抽象的问题。机器学习：常用的模型包括线性回归、支持向量机、随机森林等，这些模型相对简单，参数较少，适合处理较为简单的问题。深度学习：需要大量的标记数据来训练复杂的模型，以避免过拟合等问题，对数据的量和质都有较高的要求。
理解Monte-Carlo算法：原理、应用与实验
"本文主要介绍了Monte-Carlo算法的基本原理、理论基础以及在不同领域的应用。作者通过一个直观的问题——估计不规则圆的面积，引入了Monte-Carlo方法，并指出该算法在解决复杂问题时的独特价值。文章适用于具有一定...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值