【数学基础篇】马尔科夫决策过程

一、马尔科夫性

先来看看维基百科的解释：当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程。

即 t+2 时刻的状态只与 t+1 时刻的状态有关，与 t 时刻的状态无关。

• 状态从历史中捕获所有相关信息
• 当前状态已知，可以抛开历史不管
• 也就是说，当前状态是未来的充分统计量

二、马尔科夫决策过程

马尔科夫决策过程（Markov Decision Process,MDP）提供了一套数学框架，即在结果部分随机，且部分受决策者控制的情况下对决策过程建模。

三、MDP五元组

MDP可以由一个五元组表示 { S , A , {P_sa} , γ , R }

• S是状态的集合
  比如，迷宫中的位置
• A是动作的集合
  比如，向 N,E,S,W移动
• P_sa是状态转移概率
  对每个状态 s ∈ S 和 a ∈ A， P_sa是下一个状态在S中的概率分布
• γ∈ [ 0, 1 ] 是对未来奖励的折扣因子
• R : S × A -> ℝ 是奖励函数
  有时奖励只和状态相关