部分可观测马尔科夫决策过程 (POMDP； Partially Observable MDP)

已于 2024-09-16 14:47:19 修改
阅读量585 收藏 16
点赞数 7
文章标签： 信息与通信
于 2024-09-16 14:46:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaosuc/article/details/142230906
版权

1. 从MDP到POMDP

        马尔科夫决策过程（MDP）是具备马尔科夫性质的随机过程，即MDP的条件概率仅与系统的当前状态有关，与它的过去或未来状态是独立不相关的。表示为：

\text{Pr} [X_t=x_t | X_s=x_s, X_{p_1} = x_{p_1}, \cdots] =\text{Pr}[X_t=x_t | X_s=x_s]

其中，t,s,p分别表示未来、当前和过去的时间点。

        POMDP是MDP的扩展，是一种用于建模在不完全信息环境下做决策的问题。相较于MDP，POMDP引入了观测空间和观测函数的概念，用于描述在部分可观测环境中的决策过程。在POMDP中，智能体无法直接观测到环境的所有真实状态，只能根据一系列的观测来推断状态，并基于这些可能的状态的置信状态（Belief state）进行决策。POMDP的模型定义通常包括状态空间、动作空间、状态转移函数、奖励函数、观测空间、观测函数、折扣因子等。

2. POMDP模型构建

        POMDP的模型使用七元组\{S, A, \Theta, P, R, g, \beta\}表示，分别为：

  • S：状态空间
  • A：动作空间
  • \Theta：观测空间。选择动作后，获得系统的观测值\theta \in \Theta
  • P：转移概率函数，描述为：

P(a,i,j) = p_{i,j}^a=\text{Pr}[x_{t+1}=j|x_t=i, a_t=a]

表示当前状态为i时，执行动作a后，系统转移到状态j的概率

  • R：观测函数，描述为：

R(a,j,k) = r_{j,k}^a=\text{Pr}[\theta_{t+1}=k|x_{t+1}=j, a_t=a]

表示执行动作a后，系统转移到状态j后，观测值为k的概率

  • g：收益函数。g(x_t, a_t)表示系统处于状态x_t，执行动作a_t时的收益
  • \beta：折扣因子，满足0<\beta\leq1

3. POMDP优化与决策过程

        在POMDP中，智能体在每个时隙t的动作决策取决于当前的置信状态b_t。置信状态通过历史观测和动作进行更新。

        智能体选择动作a_t的策略\pi是一个从置信状态到动作的映射，表示为\pi(b_t)=a_t。最优策略\pi^*最大化从当前置信状态开始的期望折扣总奖励：

p_i^* = \arg \max_{\pi}E_{\pi}[\sum_{t=0}^{\infty}\beta^tg(x_t, a_t))|b_0]

        更新过程：置信状态b_t的更新取决于前一个置信状态b_{t-1}、执行的动作a_{t-1}和观察到的观测\theta_{t}。置信状态更新公式为：

b_{t}(s') = \frac{R(\theta_t | s', a_{t-1}) \sum_{s \in \mathcal{S}} P(s' | s, a_{t-1})b_{t-1}(s) }{ \sum_{s \in \mathcal{S}}R(\theta_t | s', a_{t-1}) \sum_{s \in \mathcal{S}} P(s' | s, a_{t-1})b_{t-1}(s) }

[1] 马尔可夫过程 - 维基百科，自由的百科全书 (wikipedia.org)

[2] 桂林,武小悦.部分可观测马尔可夫决策过程算法综述[J].系统工程与电子技术,2008,(06):1058-1064.

[3] Murphy, Kevin P. "A survey of POMDP solution techniques." environment 2, no. 10 (2000).

gaosuc
关注
强化学习 马尔可夫决策过程 有限马尔可夫决策 部分可观测马尔可夫决策
anananajiushiwo的博客
06-11 1232
马尔可夫决策（MDP）是强化学习中智能体与环境进行交互的实现方式。我们把状态及其状态信号的属性称为马尔可夫性质，在马尔可夫性质中，每一步环境对智能体的反馈仅取决于上一步的状态state与动作action，与之前的行走过程没有关系。在序列决策问题中。智能体的目标是通过选择合适的动作以保证长期奖赏能够最大化，每个动作都会影响长期的训练效果。其中长期奖赏是很重要的，有时候智能体会为了长期奖赏而牺牲短期奖赏。MDP的动作不仅影响当前的即时收益，还影响后续的状态以及未来的收益。划线涂成棕色的话看似是矛盾的，但其实他俩
部分可观测马尔可夫决策过程(POMDP)原理与代码实战案例讲解
AI天才研究院
07-04 1184
POMDP是一个基于概率的决策过程，用于描述在部分可观测环境下决策的问题。状态空间SSS）：描述环境可能处于的所有状态。动作空间AAA）：描述可以采取的所有动作。观测空间OOO）：描述可能观测到的所有信息。奖励函数RsaoR(s,a,o)Rsao）：描述在状态SSS、执行动作AAA并在观测OOO之后获得的即时奖励。转移概率Ts′∣saT(s'|s,a)Ts′∣sa）：描述从状态SSS在执行动作AAA后的转移概率。观测概率Oo∣sa。
POMDP，部分可观察马尔可夫决策过程
10-26
POMDP是增强学习的基础，很少见的讲解POMDP的讲义，详细并且清晰，是学习POMDP非常好的参考资料，深入浅出，值得拥有。
Partially Observable Markov Decision Process部分可观察的马尔可夫决策过程
ggg123455的博客
03-06 4892
转载：https://blog.csdn.net/WangJiankun_ls/article/details/70946146 部分可观察的马尔可夫决策过程（POMDP）是MDP的泛化。在POMDP模型中，系统（这里的系统可以用具体的机器人系统来代替）的动态响应和MDP类似（如状态转移矩阵），但是系统并不能直接观测到当前的状态，就是说系统不确定自己现在处于哪个状态。所以，系统需要对环境做一个感...
马尔可夫决策过程（五）
山顶听风
11-14 8558
马尔可夫决策过程（五）最近学习了MDP，查看一些资料，本文翻译了维基百科http://en.wikipedia.org/wiki/Markov_decision_process。有许多地方翻译的不好，有翻译错的地方请多多谅解！欢迎给我留下意见，我会尽快更改！扩展部分可观测主要文章：部分可观察马尔可夫决策过程假定当动作被采取时状态 s 是已知的；否则π（s）不能被计算。当这个假设是不正确的，此问题被称为部分可观测马尔可夫决策过程或POMDP的。强化学习如果概率或奖励不明，问题是一种强化学习（Sutton和Ba
马尔可夫决策过程 Markov decision process MDP, 连续时间Markov chain, CMDP（全）
Anne033的博客
09-20 9415
马尔可夫决策过程为决策者在随机环境下做出决策提供了数学架构模型，为动态规划与强化学习的最优化问题提供了有效的数学工具，广泛用于机器人学、自动化控制、经济学、以及工业界等领域。当我们提及马尔可夫决策过程时，我们一般特指其在离散时间中的随机控制过程：即对于每个时间节点，当该过程处于某状态(s)时，决策者可采取在该状态下被允许的任意决策(a)，此后下一步系统状态将随机产生，同时回馈给决策者相应的期望值 ，该状态转移具有马尔可夫性质。 https://zhuanlan.zhihu.com/p/35354956
深度递归Q学习在部分可观察马尔可夫决策过程中的应用
最新发布
步子哥的博客
07-13 759
深度强化学习近年来在复杂任务控制方面取得了巨大成功。为了解决这些问题,本文提出了深度递归Q网络(DRQN),通过在DQN的第一个全连接层替换为长短期记忆(LSTM)递归层,来增强模型的记忆能力。实验表明,DRQN虽然每个时间步只能看到单帧画面,但能够成功地整合时间序列信息,在标准Atari游戏和部分可观察的等价版本(如闪烁的游戏画面)上都能达到与DQN相当的性能。
POMDP 部分可观测的层次化马尔可夫决策过程 MDP
AI天才研究院
04-08 1467
部分可观测的层次化马尔可夫决策过程(Partially Observable Hierarchical Markov Decision Process, POMDP)是一种强大的机器学习模型,广泛应用于复杂的决策问题中。它可以捕捉问题中的层次结构,同时考虑决策者无法完全观测到环境状态的不确定性。这种模型在各种领域都有重要的应用,如机器人控制、自然语言处理、医疗诊断等。本文将深入探讨POMDP的核心概念和算法原理,并通过具体的代码实例和应用场景,帮助读者全面理解这一强大的决策模型。
打破视野狭窄:深度强化学习中的部分观测马尔可夫决策过程
AI天才研究院
05-05 247
1. 背景介绍 1.1 深度强化学习的兴起 近年来，深度强化学习（Deep Reinforcement Learning，DRL）取得了令人瞩目的成就，在游戏、机器人控制、自然语言处理等领域展现出强大的能力。DRL 智能体通过与环境交互，学习最优策略，实现目标最大化。
pomdp-solve-v4.0.tar.gz_POMDP C/C++_pomdp_马尔科夫_马尔科夫决策
07-14
**POMDP（Partially Observable Markov Decision Process）** 是一种用于处理不确定性和部分可观测性的决策模型。在许多现实世界的问题中，如机器人导航、自然语言理解和游戏策略等，系统状态不能完全被观测到，...
人工智能专栏第十讲——马尔可夫决策过程
记录 IT 领域经验与见解的博客
05-22 2650
马尔可夫决策过程的状态转移差异性是指状态转移概率在系统中具有某些特殊的性质，例如系统的状态只依赖于当前状态和执行的动作，而不与历史状态相关。它包括状态空间、动作空间、状态转移概率、奖励函数以及折扣因子等重要部分，通过这些基本概念的使用和推导，我们可以得到最优的决策策略。与状态空间不同的是，动作空间是由系统自身的一些限制和决策者的意愿共同决定的。奖励函数的设置不仅影响系统的学习效率，也影响系统最终的决策。因此，状态空间可以看作是系统的“现在”和“未来”，经历不同状态会导致不同的动作和收益，影响最终决策结果。
【机器学习】马尔科夫决策过程
AI小白入门的博客
01-14 1128
点击上方蓝色字体，关注AI小白入门哟跟着博主的脚步，每天进步一点点本文介绍了马尔可夫决策过程，首先给出了马尔可夫决策过程的定义形式，其核心是在时序上的各种状态下如何选择最优决策得到最大回...
Deep Recurrent Q-Learning for Partially Observable MDPs（DRQN）
小蚂蚁与大象
09-01 1529
Abstract　　深度RL已经为复杂的任务提供了精通的控制器。但是，这些控制器的内存有限，并且依赖于能够在每个决策点感知完整的游戏画面。为了解决这些缺点，本文研究了用循环LSTM替换卷积后的第一个全连接层，从而在DQN中增加循环的影响。最终的DRQN尽管每个时间步骤只能看到一个帧，但可以成功地随时间整合信息，并在标准Atari游戏和具有闪烁游戏画面的部分可观察的等效游戏中达到与DQN相当的性能。此外，在接受部分观测值训练并逐步评估更完整的观测值后，DRQN的性能随可观察性而改变。相反，当接受完整观察并经过
【强化学习】二、马尔可夫决策过程
Henry_Zhao10的博客
08-23 1007
本系列内容是强化学习基础，内容基于鲁鹏老师、李宏毅老师的课程和EasyRL强化学习教程，本节内容为第二节马尔可夫决策过程
论文笔记1：Deep Recurrent Q-Learning for Partially Observable MDPs
uuummmimiii的博客
05-27 2682
参考资料： 鼻祖论文： Playing Atari with Deep Reinforcement Learning Human-level control through deep reinforcement learning. 论文笔记之：Deep Recurrent Q-Learning for Partially Observable MDPs 最近老师让看一写DQN...
部分可观测Markov决策过程的上界近似算法
beiger的专栏
10-28 2777
1. MDP近似与QMDP近似 MDP近似公式: QMDP近似公式: MDP近似是直接根据MDP最优值近似的,QMDP是利用上一步的MDP最优值得到,相当于两次近似,更接近. 上图中,Q(s1,a1)和Q(s2,a2)就是当前的MDP最优值. 2.             FastInformed Bound Method近似 公式1为： 公式2为： FIB近似
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值