强化学习学习笔记-动态规划

最新推荐文章于 2022-10-09 17:05:24 发布
最新推荐文章于 2022-10-09 17:05:24 发布
阅读量382 收藏
点赞数 2
分类专栏： 神经网络论文研读 机器学习数学基础 深度强化学习 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDNXXCQ/article/details/124141779
版权

定义

动态规划（Dynamic Programming，DP）是运筹学的一个分支，是求解决策过程最优化的过程。20世纪50年代初，美国数学家贝尔曼（R.Bellman）等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，从而创立了动态规划。动态规划的应用极其广泛，包括工程技术、经济、工业生产、军事以及自动化控制等领域，并在背包问题、生产经营问题、资金管理问题、资源分配问题、最短路径问题和复杂系统可靠性问题等中取得了显著的效果。

适用范围

  • 1最优子结构
    满足最优性原理
    最优的解可以被分解成子问题的最优解

  • 2交叠式子问题
    子问题能够被多次重复
    子问题的解要能够被缓存并再利用

而 MDPs (马尔可夫决策过程)就满足这两个特性

  • 贝尔曼方程是递归的形式，把问题分解成子问题
  • 值函数有效的存储了子问题的解，并能够再利用

强化学习中的动态规划

使用动态规划解决强化学习问题时，要求知道 MDPs 的所有元素
评价函数
在这里插入图片描述

优化函数
在这里插入图片描述

策略评价问题

在这里插入图片描述
解法一
在这里插入图片描述

解法二
迭代解
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

伪代码
在这里插入图片描述

例子

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

策略的改进

评价一个给定的策略Π
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上述的策略比较幸运，策略提升一次就到达了最优

一般情况下，可能需要多次迭代（策略评价/策略提升）才能到达最优策略

在这里插入图片描述
所以，有
在这里插入图片描述
证明
在这里插入图片描述

最优策略的收敛证明

提升停止时
在这里插入图片描述

此时满足贝尔曼最优方程
在这里插入图片描述
此时
在这里插入图片描述
此时 π 是一个最优策略

策略的迭代改进

在这里插入图片描述

值迭代

任何最优的策略都能被分解成两部分

  • 最优的初始动作 A∗
  • 从后继状态 S′ 开始沿着最优策略继续进行

在这里插入图片描述
例子
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
小结
在这里插入图片描述
在这里插入图片描述

丰。。
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
强化学习之动态规划
数据喵的博客
07-26 3784
动态规划（Dynamic Propramming） 当一个精确的环境模型时，可以用动态规划去解决。总体来说，就是将一个问题分解成子问题，通过解决子问题来解决原问题。动态指针对序列问题，规划指优化，找到策略。 动态规划解决的问题具备两种性质： 最优子结构 满足最优性原理 最优的解可以被分解成子问题的最优解 交叠式子问题 子问题能够被多次重复 子问题的解要能够被缓存并再利用 MDPs满...
强化学习动态规划
04-02
Comparison of Reinforcement Learning Algorithms applied to the Cart-Pole Problem，APPLICATION OF REINFORCEMENT LEARNING ALGORITHMS TO OPTIMIZATION AND CONTROL PROBLEMS 论文实现代码
【强化学习】动态规划
sword_csdn的博客
06-17 1009
目录 动态规划（Dynamic Programming，DP）是一类优化方法，在给定一个用马尔可夫决策过程（MDP）描述的完备环境模型的情况下，其可以计算最优的策略。 我们假设环境是一个有限MDP。我们假设状态集合S、动作A和收益集合R是有限的，并且整个系统的动态特性由对于任意s∈S、a∈A(s)、r∈R和s’∈S+（S+表示在分幕式任务下S加上一个终止状态）的四参数概率分布p(s’,r|s,a)给出。尽管DP的思想也可以用在具有连续状态和动作的问题上，但是只有在某些特殊情况下才会存在精确解。一种常见的近似
强化学习----动态规划
minghegao的博客
11-28 358
强化学习-----第三课 动态规划 一.简介 动态规划算法是解决复杂问题的一个方法，算法通过把复杂问题分解为子问题，通过求解子问题进而得到整个问题的解。在解决子问题的时候，其结果通常需要存储起来被用来解决后续复杂问题。 当问题具有下列特性时，通常可以考虑使用动态规划来求解： 1）第一个特性是一个复杂问题的最优解由数个小问题的最优解构成，可以通过寻找子问题的最优解来得到复杂问题的最优解； ...
强化学习笔记和学习材料
01-02
3. 动态规划方法：如价值迭代（Value Iteration）和策略迭代（Policy Iteration），用于解决有限状态空间和动作空间的强化学习问题。 4. Q-learning：Q-learning是一种离策略的、模型自由的强化学习算法，它通过...
强化学习笔记（1）
01-06
强化学习与监督学习的区别： （1）训练数据中没有标签，只有奖励函数（Reward Function）。 （2）训练数据不是现成给定，而是由行为（Action）获得。 （3）现在的行为（Action）不仅影响后续训练数据的获得，也影响...
强化学习算法笔记整理和总结
04-06
里面是我自己手写的强化学习笔记。参考自刘建平老师的强化学习博客，再加上自己的理解，通俗易懂。里面包含了强化学习model-free的经典论文（Q-learning、SARSA、TD(lambda)、DQN、DDQN、prioritized replay DQN、...
强化学习入门笔记.pdf
08-07
适合强化学习入门
强化学习DQN笔记.md
最新发布
08-21
内容概要： 本文深入探讨了强化学习（Reinforcement Learning）以及深度强化学习（Deep Reinforcement Learning）的关键概念和应用。文章首先介绍了强化学习的基本概念，如目标、交互方式等，然后详解了马尔科夫决策...
强化学习（一）：动态规划
Roe_D的博客
08-22 1009
一，马尔可夫决策 （1）无后效性 在时间步 t+1 时，环境的反馈仅取上一时间步 t 的状态 s ，和动作 a ，与 t -1以及 t-1 步之前时间步没有任何关联 （2）MDP 马尔可夫的无后效性大大简化了马尔可夫的决策过程。具体而言，一个马尔可夫绝城过程由一个四元组构成 ：{ S，A，P，R} S：是状态空间集 A：为动作空间集 P：为状态转移概率，即 一个状态 到另一个状态 这个发生的概率 ...
强化学习(2) 动态规划（Dymatic Progressing）
铁锹的填坑记录
02-08 777
1. 1 同步价值迭代 动态规划来解决强化学习的规划问题。 在已经了解了状态、行为空间、转移概率矩阵、奖励等信息的基础上，判断一个策略的价值函数。或者判断策略的优劣寻找最优的策略。 一般强化学习是不知道上述的一些动力学环境，而且复杂的问题无法通过动态规划解决。 动态规划思想是把复杂问题变成求解子问题，最终再得到整个问题。子问题的结果一般需要保存以备后用。如果某个子问题重复出现，就可以重复使用结果。...
强化学习系列（四）：动态规划
LagrangeSK的博客
07-20 7261
一、前言 在强化学习系列（三）：马尔科夫决策过程中，我们提到了什么是马尔科夫过程，并且表示大部分强化学习问题都可以看做满足马尔科夫决策过程，但我们没有说如何求解马尔科夫决策过程。在本章中，我们将介绍如何用动态规划的方法求解马尔科夫决策过程，此处，我们假设需要求解的MDP是环境完全已知的。（注意：这不同于强化学习问题，大部分强化学习问题都是环境部分未知或全部未知的，但动态规划的思想对我们理解强化学...
强化学习（二）——动态规划
LongXinKou的博客
10-09 510
强化学习基础——动态规划
强化学习：动态规划总结
qq_36795658的博客
09-02 320
代码链接：https://pan.baidu.com/s/1GjV1sWn2Ajp3uB9iMOYEOw 。提取码：09a1 。 简介 在动态规划设置中，智能体完全了解 MDP（这比强化学习设置简单多了。在强化学习设置中，智能体一开始完全不了解环境如何确定状态和动作，必须完全通过互动来了解如何选择动作。） 迭代方法 为了获得策略对应的状态值函数​，只需求解​的贝尔曼预期方程对应...
强化学习总结（3）--动态规划
weixin_30416497的博客
12-07 591
动态规划是强化学习里面最基础的部分，其核心思想----通用策略迭代(Generalized Policy Iteration,GPI)。 首先强调一点，动态规划(Dynamic Programming)要求一个完全已知的环境模型，所谓完全已知，就是MDP的五元组全部已知，当然了，主要还是指状态转移概率已知。这种学习方式就是有模型学习(Model-based learning)。 这里我的疑问还...
强化学习理论——动态规划理论
hei653779919的博客
05-04 394
强化学习理论——动态规划理论 之前的文章： 强化学习理论——MDP过程 1、引入 在上一篇文章中，我们描述了基于MDP框架的下的强化学习过程以及策略评估过程的推导，下面我们主要来介绍基于动态规划过程的强化学习过程。 1.1、动态规划理论的引入 在我们之前介绍的MDP过程中，我们使用MDP=(S,A,P,r,γ)来表示一个马尔科夫决策过程，进一步根据转移概率P的是否已知，我们可以将MDP过程分成...
强化学习（四）- 动态规划基础知识
bymaymay的博客
03-04 378
动态规划（Dynamic Programming）通常用于解决最优化问题，可采用动态规划方法求解的问题需要具备以下两个特性：最优子结构（Optimal Substructure）和子问题重叠（Overlapping Subproblems）。 如果一个问题可以分解成若干个子问题，若原问题的最优解由其子问题的最优解组合而成，并且这些子问题可以独立求解，则该问题具有最优子结构特性；若子问题之间存在重叠的子问题，则该问题具有子问题重叠特性。 回顾 Fibonacci 数列求解问题，fib(n) \mat
帕累托最优生活例子_【强化学习与最优控制】笔记（二）随机性问题的动态规划...
weixin_39849254的博客
12-24 618
0 写在前面的上周我更新了第一篇关于强化学习与最优控制的笔记，整体反响还不错。我打算大约一周更新一篇文章。不得不说这本教材写得还真是蛮好的，推荐大家购买纸质版的（这个是影印版的，比英文原本要便宜不少），因为电子版的内容不是非常完整。上一期的笔记是确定性问题的动态规划，忘记的小伙伴可以再复习一下：王源：【强化学习与最优控制】笔记（一）确定性问题的动态规划​zhuanlan.zhihu.com1 离散...
强化学习笔记：伯克利CS285前10讲重点概览
"Berkeley CS285 强化学习笔记涵盖了强化学习的基础概念和重要算法，主要讨论了马尔可夫决策过程（Markov Decision Process, MDP）和部分可观测马尔可夫决策过程（Partially Observed Markov Decision Process, ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丰。。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值