深度强化学习——第二章马尔可夫决策过程 (MDP)

1. 马尔科夫决策

1.1 基本概念

1. 马尔科夫性质

• 定义

  若 $t+1$ 时刻的状态 $s_{t+1}$仅与 $t$ 时刻的状态$s_t$有关，而与以前的状态无关，则称状态 $s_{t+1}$具有马尔科夫性质

2. 随机过程：随机变量序列

3. 马尔科夫过程

   设$S(t)$为随机变量序列，若任意 $t_{n+1}$时刻的状态$S(t_{n+1})$, 在经过前$n$ 个状态 $S(t_i) = s_i, i = 1,…,n $的前提下， 其状态转移概率分布函数满足

   P { S ( t n + 1 ) ≤ s n + 1 ∣ S ( t n ) = s n , S ( t n − 1 ) = s n − 1 , . . . , S ( t 1 ) = s 1 } = P { S ( t n + 1 ) ≤ s n + 1 ∣ S ( t n ) = s n } P\lbrace S (t_{n+1}) \leq s_{n+1} | S(t_n) = s_{n},S(t_{n-1}) = s_{n-1},..., S(t_1) = s_1 \rbrace = P\lbrace S (t_{n+1}) \leq s_{n+1} | S(t_n) = s_{n}\rbrace P{ S(tn+1​)≤sn+1​∣S(tn​)=sn​,S(tn−1​)=sn−1​,...,S(t1​)=s1​}=P{ S(t