强化学习(2)---马尔科夫决策

最新推荐文章于 2024-01-05 15:31:04 发布
最新推荐文章于 2024-01-05 15:31:04 发布
阅读量232 收藏
点赞数
分类专栏： 深度学习 文章标签： 强化学习 马尔科夫决策过程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42802447/article/details/109207621
版权

需要知道的一些概念

马尔科夫决策过程

马尔科夫链

马尔科夫奖励过程

马尔科夫中的价值函数

马尔科夫决策过程的控制：policy iteration value iteration

image.png

image.png

  • 基于价值函数的agent：不使用决策函数，在价值函数中推测police
  • 基于police的agent：不使用价值函数
  • 两个都用

通过模型使用不同分类：

image.png

image.png

看会否有环境转移模型

  • 马尔科夫决策过程是强化学习的基本框架，环境是全部可以观测
  • 如果说状态转移属于马尔科夫就是说一个状态的下一状态是取决于它当前状态和它当前状态之前的状态没有关系
  • 状态转移矩阵描述状态转移，描述了从一个节点到其他节点的概率

给定状态转移的马尔科夫链之后，可以对链进行采样得到一串轨迹

马尔科夫奖励过程是马尔科夫链加上一个奖励函数

在马尔科夫奖励之中，矩阵和他的状态都是和马尔科夫链一样的，奖励函数是一个期望，当到达某一个状态的时候可以获得多大的奖励，另定义了一个折扣量：discount factor 伽马，折扣量是为了更快

可以将马尔科夫过程看做一个纸船，放在河流中会随着河流动，但是他自身没有动力，决策就像船桨

 

一些概念：

Horizon：说明同一个？？？？没懂

image.png

定义一个return：将后面的奖励进行折扣，越往后折扣越多(希望现在得到奖励而不是后面再得到奖励)

 

image.png

如何定义价值函数？

Monte_Carlo采样：可以定义很多很多过程，通过计算每次通过S4的价值求平均可以估计通过S4状态的价值

Analytic solution(只能针对少量状态时候，因为求逆的时间复杂度太大)：

可以从价值函数中推倒出Bellman等式

定义了当前状态和未来状态的关系

image.png

迭代方法：（用来解状态比较多的）

image.png

1.动态规划

TD是动态规划和Monte_Carlo方法的结合

先用解析，解析不行就用迭代

马尔科夫决策过程比马尔科夫奖励过程多了一个决策(decision)

image.png

马尔科夫决策过程转换成马尔科夫链过程

image.png

image.png

浪里摸鱼
关注
专栏目录
Python-深度强化学习Nanodegree
08-11
1. **基础理论**：首先，你需要理解强化学习的基本概念，包括马尔科夫决策过程（MDP）、状态空间、动作空间、奖励函数以及策略和价值函数。 2. **Python编程**：掌握Python编程基础，包括数据类型、控制结构、函数...
强化学习---马尔可夫决策过程 MP MRP MDP
wybnmsl的博客
07-23 1229
马尔可夫性质（Markov property）是指一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态。我们假设一个离散的随机过程：X0{X_0}X0​,X1{X_1}X1​, · · · ,XT{X_T}XT​ ，这些随机变量的所有可能取值的集合被称为状态空间。如果Xt+1{X_{t+1}}Xt+1​ 对于过去状态的条件概率分布仅是Xt{X_t}Xt​ 的一个函数，则: p(Xt+1=xt+1∣X0:t=x0:t)=p(Xt+1=xt+1∣Xt=xt){p (X_{t+
约束马尔可夫决策过程CMDP
chen的博客
11-20 1143
通过CMDP，电力公司可以制定出一个策略，使得在电力需求得到满足的情况下，发电厂的运行在各项约束条件下保持合规，并且尽可能地减少成本或能源消耗。在CMDP中，代理需要在满足约束的条件下找到一个策略，使得在每个状态下选择最优的动作以获得最大的回报，并且同时满足额外的约束条件。这种情况下，决策过程就不仅仅是在最大化回报的基础上做决策，而是要考虑到约束的影响。在CMDP中，电力公司的目标是在满足各个发电厂的运行约束条件的前提下，制定一个策略来调整各个发电厂的产能，以最大化总体收益。
马尔可夫决策过程-强化学习学习笔记(二)
CSDNXXCQ的博客
01-19 3814
概念引入 强化学习的通俗理解 马尔可夫的通俗介绍 简介 马尔可夫决策过程 (Markov Decision Processes, MDPs)是对强化学习问题的数学描述. 马尔可夫决策过程（Markov Decision Process, MDP）是序贯决策（sequential decision）的数学模型，用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报 。MDP的得名来自于俄国数学家安德雷·马尔可夫（Андрей Андреевич Марков），以纪念其为马尔可夫链所做的研
【强化学习】03 ——马尔可夫决策过程
sinat_52032317的博客
09-24 1488
在此推荐另一篇文章【自动驾驶决策规划】POMDP之Introduction“The future is independent of the past given the present”未来状态的概率分布只与当前状态有关，而与过去状态无关。定义：性质：Pss′\boldsymbol{P}_{ss^{\prime}}Pss′​为从状态sss转移到状态s′s's′的概率，又称一步状态转移概率。P\boldsymbol{P}P为一步状态转移矩阵。P[St+1∣St]=P[St+1∣S1,…,St]Pss′=P[
强化学习3——马尔可夫性质、马尔科夫决策、状态转移矩阵和回报与策略（上）
最新发布
beiketaoerge的博客
01-05 1614
介绍了强化学习中的马尔可夫决策过程描述、马尔可夫性质、状态转移矩阵和回报的知识
pomdp2json-master_马尔科夫_马尔科夫决策_
10-02
在强化学习领域，马尔科夫决策过程（Markov Decision Process，MDP）是一个基础模型，它描述了一个智能体与环境交互的过程，其中未来状态只依赖于当前状态而与过去的状态无关。然而，在许多实际问题中，智能体无法...
Python-60天深入掌握强化学习
08-11
1. 强化学习基础：学习强化学习的基本概念，如环境、状态、动作、奖励函数、智能体、马尔科夫决策过程（MDP）以及动态规划（DP）等。 2. Q-Learning：理解Q学习的工作原理，学习如何实现Q-table和Q-learning算法，...
揭秘深度强化学习-彭伟
05-06
DRL算法以马尔科夫决策过程为基础, 是在深度学习强大的非线性函数的拟合能力下构成的一种增强算法。深度强化学习算法主要包括基于动态规划 (DP) 的算法以及基于策略优化的算法, 这本书共10章, 首先以AlphaGo在围棋...
gridworld-master_马尔科夫决策_gridworld_
09-30
在IT领域，马尔科夫决策过程（Markov Decision Process，MDP）是一种重要的理论模型，广泛应用于强化学习和决策理论。"gridworld-master"项目是利用MDP解决的一个具体问题，即格子世界（Gridworld）问题。下面将详细...
来实现隐马尔科夫树的分类
01-23
用来实现隐马尔科夫树的分类，已运行过，可以作为很好地参考，里面的参数根据自己所需，进行修改。
强化学习基础-马尔可夫决策过程（Markov Decision Process，MDP）
m0_73916791的博客
11-27 4100
是一种数学框架，用于建模和求解序贯决策问题。它基于马尔可夫性质，通过定义状态、行动、转移概率函数和奖励函数来描述决策过程，并通过最优化方法来求解最优策略。本文将详细介绍马尔可夫决策过程的原理和数学公式。
【机器学习】强化学习的概念及马尔科夫决策
m0_51816252的博客
08-13 2024
强化学习算法的关键思想不是告诉算法每个输入x 的正常输出y 是什么 ，而是给它指定一个奖励函数，告诉它上面时候做的好，上面时候做的不好。算法的工作是自动找出如何选择好的动作。强化学习的目标是给定一个马尔科夫决策过程，寻找最优策略，策略就是状态到动作的映射，使得最终的累计回报最大。...
强化学习 马尔科夫决策过程（价值迭代、策略迭代、雅克比迭代、蒙特卡洛）
lbwnbdedede的博客
11-22 2106
本文讲解了Markov过程、奖励过程、决策过程三个方面。包含价值迭代、策略迭代、雅克比迭代（解决自举问题）、蒙特卡洛（无模型）方式。
第二章 强化学习之马尔科夫决策过程
kaohoooo的博客
12-01 2146
在介绍马尔可夫决策过程之前，我们先介绍它的简化版本：马尔可夫过程（Markov process，MP）以及马尔可夫奖励过程（Markov reward process，MRP）。通过与这两种过程的比较，我们可以更容易理解马尔可夫决策过程。其次，我们会介绍马尔可夫决策过程中的策略评估（policy evaluation），就是当给定决策后，我们怎么去计算它的价值函数。最后，我们会介绍马尔可夫决策过程的控制，具体有策略迭代（policy iteration）和价值迭代（value iteration）两种算法
什么是强化学习（马尔可夫决策过程）
郭建鹏的博客
03-16 5312
文章目录什么是强化学习（上）1. 强化学习（概述）2. 马尔可夫决策过程2.1 马尔可夫假设2.2 马尔可夫决策过程2.3 状态值函数(state-value function)2.4 状态-行动价值函数（action-valuefunction） 什么是强化学习（上） 1. 强化学习（概述） 强化学习（Reinforcement learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。强化学习是除了监督学习和非监督学习之外的第三种基本的机器学习方法。与监督学习不
强化学习 马尔可夫决策过程（MDP）是什么
软件工程小施同学 的专栏
04-26 1万+
2016 年上半年，李世石和 AlphaGo 的“人机大战”掀起了一波人工智能浪潮，也引起了大家对于人工智能的热烈讨论。本文主要学习人工智能中的强化学习，它是计算机以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使计算机获得最大的奖赏。 以围棋为例，一个强化学习问题通常包含如下要素： 动作空间（Action Space）：A，可以采取的所有合法动作的集合，所有合法的落子。 状态空间（State Space）：S；所有的状态的集合称为状态空间，所有的棋盘布局。 奖励（Reward
强化学习(二)：马尔科夫决策过程(Markov decision process)
热门推荐
01-17 9万+
本章是强化学习的基础，主要讲的就是马尔科夫决策过程，以后的内容都是以这一节为基础的，所以对本节的相关概念的理解是很重要的。 这一节的概念比较多，也是后面章节的基础，一开始笔者也是一头雾水，只有多看几遍，多去思考，才能慢慢理解。毕竟概念与定义比较多，想要一下子消化完还是有一些难度的。这篇博客也是笔者看完David Silver的公开课与其它一些参考资料后的理解，希望对大家有所帮助。 Ma
强化学习（一）——马尔可夫决策过程MDP
LongXinKou的博客
01-21 3975
文章目录1. 基本概念1.1 马尔可夫性质1.2 状态转移矩阵2. 马尔可夫奖励过程2.1 累积奖励与折扣因子2.2 价值函数2.3 贝尔曼方程3. 马尔可夫决策过程MDP3.1 策略3.2 价值函数3.3 贝尔曼方程3.4 实例3.4 最优价值函数(Optimal Value Function)3.5 最优策略（Optimal Policy）3.6 求解贝尔曼最优方程Reference 1. 基本概念 1.1 马尔可夫性质 在时间t+1时，状态仅取决于上一时间t的状态s和动作a，与t-1以及t-1之前的
强化学习入门：马尔科夫决策过程解析与实践
在强化学习领域，马尔科夫决策过程（Markov Decision Process, MDP）是理解和解决问题的重要工具。MDP是强化学习的基础，它描述了一个智能体在与环境交互时如何通过选择动作来最大化累积奖励。本资源探讨了马尔科夫...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浪里摸鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值