本文是关于马尔可夫决策过程（MDP）的学习笔记，介绍了MDP作为序贯决策的数学模型，其核心是马尔可夫性质。MDP包括智能体与环境两个交互对象，涉及状态、动作、策略、奖励和回报等五个要素。MDP过程中，智能体根据策略执行动作，环境状态变化并反馈奖励，形成持续交互。
马尔可夫决策过程（MDP）
马尔可夫决策过程的基本概念，作学习笔记用，资料链接在文末
马尔可夫决策过程是序贯决策的数学模型，用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报。
一、马尔可夫性质
当一个随机过程在给定现在状态以及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态，换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么说此随机过程具有马尔可夫性质，具有马尔可夫性质的过程通常称之为马尔科夫过程。公式表示如下：
![P[X(t+h)=y|X(s)=x(s),s\leq t]=P[X(t+h)=y|X(t)=x(t)],\forall h> 0](https://i-blog.csdnimg.cn/blog_migrate/7f879da0aaa520425a5e6b5e3c0214bf.gif)
二、马尔可夫决策过程
MDP是在环境中模拟智能体的随机性策略(pol
最低0.47元/天 解锁文章
4642
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
