强化学习笔记：MDP 重点！重点！

最新推荐文章于 2021-06-29 16:37:24 发布
最新推荐文章于 2021-06-29 16:37:24 发布
阅读量462 收藏 1
点赞数
分类专栏： 强化学习 文章标签： 强化学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuoMin2523/article/details/118196353
版权
本文深入探讨了强化学习中的关键概念，包括贝尔曼方程（Bellman Equation）、Q函数的贝尔曼方程、贝尔曼期望方程以及预测与控制问题。在MDP（马尔科夫决策过程）中，政策评估（Policy Evaluation）和控制是核心任务。通过Policy Iteration和Value Iteration算法解决控制问题，涉及策略改进和最优价值迭代。此外，还对比了两种算法的区别。
摘要由CSDN通过智能技术生成

目录

0 Bellman Equation 

1 Q 函数的 Bellman equation

 2 Bellman Expectation Equation 

3 重点：Prediction and Control 

 4 重点：policy evaluation/Prediction

5 MDP Control

Bellman Optimality Equation

Value Iteration

Difference between Policy Iteration and Value Iteration

0 Bellman Equation 

接下来我们来求解这个价值函数。

首先我们用蒙特卡罗 (Monte Carlo) 的办法来计算它的价值函数。蒙特卡罗就是说当得到一个 MRP 过后，我们可以从某一个状态开始，把这个小船放进去，让它随波逐流，这样就会产生一个轨迹。产生了一个轨迹过后，就会得到一个奖励，那么就直接把它的折扣的奖励 g 算出来。算出来过后就可以把它积累起来，得到 return Gt。当积累到一定的轨迹数量过后，直接用 Gt 除以轨迹数量，就会得到它的价值。

1 Q 函数的 Bellman equation

 2 Bellman Expectation Equation 

通过对状态-价值函数进行一个分解，我们就可以得到一个类似于之前 MRP 的 Bellman Equation，这里叫 Bellman Expectation Equation，如式所示：

3 重点：Prediction and Control 

 MDP 的 predicti

最低0.47元/天 解锁文章
唠叨小主
关注
专栏目录
如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法
丨汀、的博客
07-14 3361
如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法
《深入浅出强化学习原理入门》学习笔记（一）总结与绪论
lxs3213196的博客
11-20 1201
《深入浅出强化学习原理入门》学习笔记（一）总结与绪论1、《深入浅出强化学习》总结2、强化学习3、序贯决策问题4、马尔科夫决策过程5、动态规划算法6、强化学习算法演进的两个关键时间节点7、强化学习算法分类8、强化学习基本框架9、强化学习仿真环境gym（1）选用gym平台的原因（2）gym环境的安装（3）深入剖析gym环境的构建 1、《深入浅出强化学习》总结 《深入浅出强化学习》包含绪论和四个篇章，全书分为两条线索： 第一条线索是强化学习的基本算法。 绪论讲解了强化学习的是什么，可以解决什么问题，怎样解决问题，
强化学习--MDP
tanghuijune的博客
08-17 285
2. 强化学习之——马尔科夫决策过程
June
06-03 3529
目录 马尔科夫链 马尔科夫奖励过程 马尔科夫决策过程 马尔科夫决策过程中的策略估计 马尔科夫决策过程中的控制 策略迭代 值迭代 马尔科夫链 马尔科夫性：未来的转移跟过去是独立的，它只取决于现在 状态转移矩阵：（每一个元素都是一个概率分布） 马尔科夫链的举例：当从状态 S3 开始时，可以对链进行采样，得到很多串轨迹（下面3串只是作为举例） 马尔科夫奖励过程（MRP） 马尔科夫奖励过程 = 马尔科夫链+ 奖励 奖励其实是一个期望（当你到某一个状态时可以获得多大的奖励.
Policy Iteration与Value Iteration
gy77
01-21 1293
gym环境：FrozenLake-v0：http://gym.openai.com/envs/FrozenLake-v0/ 代码来自：周博磊老师的GitHub：https://github.com/cuhkrlcourse/RLexample/tree/master/MDP 环境如下： SFFF (S: starting point, safe) FHFH (F:...
强化学习笔记（二）马尔可夫决策过程
CSU干饭人的博客
01-14 1677
第二章 马尔可夫决策过程 马尔可夫链与马尔可夫奖励过程 **马尔可夫过程(Markov Process，MP)：**如果一个状态转移是符合马尔可夫的，那就是说一个状态的下一个状态只取决于它当前状态，而跟它当前状态之前的状态都没有关系。 马尔可夫链(Markov Chain)：符合马尔可夫的状态转移链，如下图所示： **状态转移矩阵(State Transition Matrix)：**描述一个节点到达所有其它节点的概率。 马尔可夫奖励过程(Markov Reward Processes，MRP)： 是马
强化学习实例2：MDP
Just for fun的专栏
06-14 1793
红色块移动到黄色，黑色为障碍物 马尔科夫链， 预测最好的路径，值函数为回报r（reward）和the discounted value of the ending state SARSA代表state, action, reward, next state和next action。it is known as an own policy Reinforcement Learnin...
强化学习笔记：伯克利CS285前10讲重点概览
"Berkeley CS285 强化学习笔记涵盖了强化学习的基础概念和重要算法，主要讨论了马尔可夫决策过程（Markov Decision Process, MDP）和部分可观测马尔可夫决策过程（Partially Observed Markov Decision Process, ...
强化学习课程笔记1：强化学习简介
silent56_th的博客
04-16 757
课程简介 笔者最近在刷强化学习相关的基础课程，一番调研之后选定UCL和UCB的两门公开课，刚好代表目前RL领域最火的两个流派。关于两个流派的对比讨论，详见知乎 请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？ 简单介绍一下两个课程： UCL Course on RL DeepMind当家人David Silver从头讲到尾，深入浅出，清晰明了。 可能是因为是在UCL开课的...
二、MDP问题
日月既往，不可复追
10-22 2983
MDP问题 文章目录MDP问题马尔科夫性与马尔科夫奖励贝尔曼方程MDP policy 简单回忆一下上一篇笔记 一、强化学习基础 中讲到的agent与environment交互的过程：当环境environment处于某个状态state时，智能体agent采取某个动作action，该动作会对environment产生影响，使environment进入下一个状态state’,并且在状态改变的时刻，环境还会给出一个奖励reward。流程图如下所示： 马尔科夫性与马尔科夫奖励 学过随机过程的小伙伴都应该知道，马尔科
Q-Learning之MDP问题
dlphay的博客
04-11 5288
强化学习需要考虑的问题是Agent与Environment多参数之间交互的任务，同样会存在闭环控制链，来使系统达到我们所预期的最优状态。对于绝大多数的加强学习都可以模型化为MDP问题（Figure2 中间部分），在MDP问题中，提到State是完全可观察的全部环境的State ，并且下一个State却决于当前的State和当前的Action。在此基础上，Policy起着连接State和Action
增强学习（三）----- MDP的动态规划解法
haoxiaozi012的博客
08-23 678
上一篇我们已经说到了，增强学习的目的就是求解马尔可夫决策过程(MDP)的最优策略，使其在任意初始状态下，都能获得最大的Vπ值。(本文不考虑非马尔可夫环境和不完全可观测马尔可夫决策过程(POMDP)中的增强学习)。 那么如何求解最优策略呢？基本的解法有三种： 动态规划法(dynamic programming methods) 蒙特卡罗方法(Monte Carlo methods) 时间差分...
GROMACS运行参数之em.mdp文件详解
DrugAI
09-27 6325
GROMACS(5.1.4)教程：蛋白质配体复合物 官网：点击打开链接 李老师博客：点击打开链接 蛋白质配体复合物模拟添加离子过程中需要用到输入文件em.mdp，现对里面的各种编辑项目做简单注释。 ###em.mdp### ; LINES STARTING WITH ';' ARE COMMENTS title = Minimization ; Titl...
增强学习（一）——马尔科夫决策过程（MDP）
BertDai的博客
08-02 4970
增强学习（reinforcement learning,RL）是近年来机器学习和智能控制领域的主要方法之一。在增强学习中有三个概念：状态、动作和回报。 “状态（state）”是描述当前情况的。对一个正在学习行走的机器人来说，状态是它的两条腿的位置。对一个围棋程序来说，状态是棋盘上所有棋子的位置。 “动作（action）”是一个智能体在每个状态中可以做的事情。给定一个机器人两条腿的状态或位置，它可以在一定距离内走几步。通常一个智能体只能采取有限或者固定范围内的动作。例如一个机器人的
强化学习笔记（七）：蒙特卡洛树搜索（MonteCarlo Tree Search）
LuoMin2523的博客
06-22 4685
如果说多臂赌博机问题被看做单步强化学习任务（只用一步决策玩哪个老虎机，然后就收到回报），那么蒙特卡洛树搜索可以看做是解决多步强化学习任务的工具。树是一种天然的用来刻画或者存储多步决策的数据结构。正如所有的动态规划问题可以被转化为图搜索，而所有的线性规划问题可以被转化为二分图一样。至于蒙特卡洛树搜索，实际上可以分为两步[1]： 利用树结构来重新表达决策问题 利用蒙特卡洛方法来进行搜索 MCTS对游戏进行多次模拟，然后尝试基于模拟结果对最佳下一步进行预测。MCTS的四个步骤，即选择、扩展、模拟...
强学学习总结（二）：简答题
LuoMin2523的博客
06-28 1264
请简述 强化学习的特征 请举例生活中强化学习的例子 基于价值函数的迭代和基于策略函数的迭代的强化学习方法有什么区别？
强化学习笔记：MDPs、MC、TD
LuoMin2523的博客
06-23 1141
1、强化学习的特点 1.没有监督标签。只会对当前状态进行奖惩和打分，其本身并不知道什么样的动作才是最好的。 2. 评价有延迟。往往需要过一段时间，已经走了很多步后才知道当时选择是好是坏。有时候需要牺牲一部分当前利益以最优化未来奖励。 3. 时间顺序性。每次行为都不是独立的数据，每一步都会影响下一步。目标也是如何优化一系列的动作序列以得到更好的结果。即应用场景往往是连续决策问题。 4. 与在线学习相比，强化学习方法可以是在线学习思想的一种实现，但是在线学习的数据流一定是增加的，而强化学习的数据可...
强化学习笔记（四）Deep Q-learning/深度Q学习
LuoMin2523的博客
06-21 1132
问题：什么是线性函数近似方法？线性函数近似的思想是什么？ 用线性模型来拟合价值函数。步骤就是 先定义好特征函数， 给定状态s的时候，根据x(s)提取出特征， 然后线性叠加这些特征， 进而估计这个V值。 根据loss function来求解w这个权重。 线性函数近似的难点在于需要人为的设计好的特征 ，这个比较困难。 问题：什么是DQN？DQN的挑战是什么？ ...
强化学习思维导图
LuoMin2523的博客
06-29 1073
强化学习/RL DP算法 model-based MC算法 model-free TD算法 model-free 基于价值迭代的RL SARSA算法 on-policy TD Control Q-learning 问题1:面对动作数量较多，状态空间较大的问题，计算困难 解决方法:DQN 算法 存在的问题：Q值过高估计 原因：你总是会选那个被高估的 Q 值，你总是会选那个 reward 被高估的动作当作这个 max 的结果去加上 rt 当..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值