强化学习（三）----- MDP的动态规划解法

最新推荐文章于 2024-08-15 13:20:27 发布
最新推荐文章于 2024-08-15 13:20:27 发布
阅读量724 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 数据 数据分析 数据挖掘 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zb123455445/article/details/78397498
版权
本文介绍了强化学习中求解马尔可夫决策过程(MDP)最优策略的基本方法——动态规划法。动态规划包括贝尔曼方程、策略估计、策略改进和值迭代四个部分，通过迭代更新来逼近最优策略。尽管动态规划法要求完全环境模型，但在有限状态的MDP中有严格的收敛性。
摘要由CSDN通过智能技术生成

上一篇我们已经说到了，增强学习的目的就是求解马尔可夫决策过程(MDP)的最优策略，使其在任意初始状态下，都能获得最大的Vπ值。(本文不考虑非马尔可夫环境和不完全可观测马尔可夫决策过程(POMDP)中的增强学习)。

那么如何求解最优策略呢？基本的解法有三种：

动态规划法(dynamic programming methods)

蒙特卡罗方法(Monte Carlo methods)

时间差分法(temporal difference)。

动态规划法是其中最基本的算法，也是理解后续算法的基础，因此本文先介绍动态规划法求解MDP。本文假设拥有MDP模型M=(S, A, Psa, R)的完整知识。

1. 贝尔曼方程（Bellman Equation）

上一篇我们得到了Vπ和Qπ的表达式，并且写成了如下的形式

在动态规划中，上面两个式子称为贝尔曼方程，它表明了当前状态的值函数与下个状态的值函数的关系。

优化目标π*可以表示为：

分别记最优策略π*对应的状态值函数和行为值函数为V*(s)和Q*(s, a)，由它们的定义容易知道，V*(s)和Q*(s, a)存在如下关系:

状态值函数和行为值函数分别满足如下贝尔曼最优性方程(Bellman optimality equation)<

最低0.47元/天 解锁文章
Duckie-duckie
关注
专栏目录
强化学习-马尔可夫决策过程（MDP）
LXYTSOS的专栏
01-14 885
强化学习，是机器学习领域中，除监督学习、非监督学习之外，第三种学习范式。在强化学习中，智能体在环境中通过执行各种动作来与之交互，做完每个动作后都会得到一个环境反馈的奖励值，智能体的目标就是通过一系列的交互，来学习到一种策略，使得它收到的总奖励值最大。 马尔可夫 马尔科夫性：当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过..
强化学习(三)：动态规划求解MDP(Planning by Dynamic Programming)
热门推荐
01-18 2万+
上一节主要是引入了MDP(Markov decision process)的各种相关的定义与概念。最后得到了最优状态值函数v∗(s)v_*(s)和最优状态动作值函数q∗(s,a)q_*(s,a)的定义与公式。这一节主要是在已知模型的情况下利用动态规划来进行强化学习求解v∗(s)v_*(s)和q∗(s,a)q_*(s,a)。什么叫已知模型的情况？就是说上一节讲到的S,A,P,R,γ>，这些都是已知的
增强学习（三）----- MDP的动态规划解法
weixin_30355437的博客
01-20 971
上一篇我们已经说到了，增强学习的目的就是求解马尔可夫决策过程(MDP)的最优策略，使其在任意初始状态下，都能获得最大的Vπ值。(本文不考虑非马尔可夫环境和不完全可观测马尔可夫决策过程(POMDP)中的增强学习)。 那么如何求解最优策略呢？基本的解法有三种： 动态规划法(dynamic programming methods) 蒙特卡罗方法(Monte Carlo methods) 时间差分...
马尔可夫决策过程MDP讲解，附应用案例代码
最新发布
LIUMAO99的博客
08-15 1217
策略（Policy）在马尔可夫决策过程中是代理在给定状态下选择动作的规则或函数。它可以是确定性的，即对于每个状态，策略都指定一个单一的动作；也可以是随机性的，即对于每个状态，策略定义了一个动作的概率分布。策略可以用函数表示，其中是状态空间，是动作空间。对于随机性策略，可以表示为，即在状态下选择动作的概率。
动态规划求解MDP（基于贝尔曼方程）
ggjkd的博客
03-10 1010
动态规划求解MDP（基于贝尔曼方程） 一、策略迭代法 1. 策略评估 基于贝尔曼方程的动态规划迭代： 基本思想：在当前策略Pi下，初始化值函数V0，用当前策略和前Vk来更新Vk+1，直至Vk+1收敛 2. 策略改进 a−new=arg⁡max⁡aQπ(s,a) a_{-} n e w=\arg \max _{a} Q_{\pi}(s, a) a−​new=argamax​Qπ​(s,a) 基于贪心法来优化策略，即把有最大回报的行为来更新对应的策略Pi(a|s)，当然，因为是贪心策略，概率为1，有些时候回
MDP方法工具箱（MATLAB）
08-30
这是一个采用MATLAB编写的MDP方法的工具箱，能很好的运行，可做试验工具
强化学习之动态规划
数据喵的博客
07-26 3804
动态规划（Dynamic Propramming） 当一个精确的环境模型时，可以用动态规划去解决。总体来说，就是将一个问题分解成子问题，通过解决子问题来解决原问题。动态指针对序列问题，规划指优化，找到策略。 动态规划解决的问题具备两种性质： 最优子结构 满足最优性原理 最优的解可以被分解成子问题的最优解 交叠式子问题 子问题能够被多次重复 子问题的解要能够被缓存并再利用 MDPs满...
《强化学习》第四章 动态规划
midnight_DJ的博客
11-28 2898
动态规划（Dynamic Programming，DP）是一类优化方法，在给定一个用马尔科夫决策过程(MDP)描述的完备环境模型的情况下，其可以计算最优的策略。 本章中，我们假设环境是一个有限MDP。也就是说，我们假设状态集合S、动作集合A和收益集合R是有限的，并且整个系统的动态特性由对于任意s∈S、a∈A(s)、r∈R和s′∈S+(S+s \in S、a \in A(s)、r \in R 和s' \in S^+(S^+s∈S、a∈A(s)、r∈R和s′∈S+(S+表示在分幕式任务下S加上一个终止状态）的四
强化学习系列（十一）：Off-policy Methods with Approximation
LagrangeSK的博客
09-05 4125
一、前言 针对Policy iteration 中存在的exploitation问题，在第五章中将强化学习算法分为on-policy算法和off-policy算法。前两章中，我们讨论了对on-policy问题的函数逼近，本章中将重点介绍off-policy问题的函数逼近。两者差异很大。第六章、第七章中出现的 tabular off-policy 方法很容易用semi-gradient方法进行扩展...
动态规划：求解MDP的经典方法
程序员光剑
05-14 884
1. 背景介绍 1.1 马尔可夫决策过程（MDP）概述 马尔可夫决策过程（Markov Decision Process, MDP）是一种用于建模顺序决策问题的数学框架，其中主体（agent）根据当前状态选择行动，以最大化长期累积奖励。MDP的核心思想
【转载】David Silver公开课3——动态规划解决MDP的Planning问题
a3335581的博客
09-06 432
本文是David Silver强化学习公开课第三课的总结笔记。主要谈到了动态规划能够解决MDP的什么问题，能通过Policy Iteration和Value Iteration来解决，这两者指的是什么，出于什么样的考虑提出这两种思路，具体解决步骤是什么。 【转载自】chenrudan.github.io 本文是David Silver强化学习公开课第三课的总结笔记。主要谈到了动态规划能够解决M...
强化学习（三）——动态规划解决MDP
乘风破浪2014
11-20 882
前沿能够用动态规划解决的问题需要满足一下两个特性： 最优化结构：将某些整体性问题分解成两个或多个子问题。在得到这些问题的最优解后，我们也就知道了该整体问题的最优解。例如：最短路径问题。 重叠子问题：子问题是在不断重复的，这样我们就可以分解后解决问题。 我们的MDP问题满足贝尔曼方程。这个方程是一个递归的过程，正因为该方程，我们的MDP问题满足这两个特性。当前是最优步，以后仍旧选择最优步。
二、MDP问题
日月既往，不可复追
10-22 2949
MDP问题 文章目录MDP问题马尔科夫性与马尔科夫奖励贝尔曼方程MDP policy 简单回忆一下上一篇笔记 一、强化学习基础 中讲到的agent与environment交互的过程：当环境environment处于某个状态state时，智能体agent采取某个动作action，该动作会对environment产生影响，使environment进入下一个状态state’,并且在状态改变的时刻，环境还会给出一个奖励reward。流程图如下所示： 马尔科夫性与马尔科夫奖励 学过随机过程的小伙伴都应该知道，马尔科
强化学习（1）---马尔可夫决策过程MDP基本概念以及求解价值函数
weixin_46072670的博客
11-30 2299
强化学习是什么，强化学习的基本过程MP、MRP以及最重要的MDP，求解每个过程的价值函数。最优策略使期望回报的最大化，得到最优的状态价值函数，完成强化学习的目标。
强化学习基础学习系列之求解MDP问题的value-base方法
foreverkeen
10-13 4780
解决MDP问题的value-base方法
基础阶段（五）——有限MDP问题及其策略迭代法总结
qq_41959920的博客
10-04 3734
提示：转载请注明出处，若文章无意侵犯到您的合法权益，请及时与作者联系。 基础阶段（五）——有限MDP问题及其策略迭代法代码分析 前言 1.1 强化学习的问题定义 1.2 方格世界的经典MDP问题 1.3环境与Agent对象 二、策略迭代分析 2.1 策略评估 2.2 策略改进 2.3策略迭代 2.4值迭代 前言 在之前的学习中我们学习了有限MDP问题的基于模型的DP解法，也就是策略迭代法，但是很多东西不与实践代码相结合，总会觉得没有成就感，那么我们就将之前介绍的算法通过举...
强化学习 2 —— 用动态规划解决 MDP 问题 (Policy Iteration and Value Iteration)
靡不有初鲜克有终
08-09 5343
强化学习 2—— 用动态规划求解 MDP 在上一篇文章 强化学习 1 —— 一文读懂马尔科夫决策过程 MDP 介绍了马尔科夫过程，本篇接着来介绍如何使用动态规划方法来求解。 动态规划的关键点有两个： 一是问题的最优解可以由若干小问题的最优解构成，即通过寻找子问题的最优解来得到问题的最优解。 二是可以找到子问题状态之间的递推关系，通过较小的子问题状态递推出较大的子问题的状态。 在上一篇中我们提到的状态价值的贝尔曼方程： vπ(s)=∑a∈Aπ(a∣s)(R(s,a)+γ∑s′∈SP(s′∣s,a)⋅vπ(
瑞斯康MDP-4开发平台：电力载波通讯模块测试与调试手册
MDP-4开发平台是瑞斯康微电子推出的基于RISE3401电力载波芯片的开发工具，旨在帮助用户快速高效地开发载波通讯模块产品，降低开发成本。该平台包含M3000系列参考通讯模块、多种硬件资源，支持用户直接批量生产或在此...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值