机器学习-白板推导系列笔记（三十四）-MDP

此文章主要是结合哔站shuhuai008大佬的白板推导视频：马尔科夫决策过程_107min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、背景介绍

Random Variable：$XYX\perp Y$
Stochastic Process： { S t } t = 1 ∞ \{S_t\}_{t=1}^\infty { St​}t=1∞​
Markov Chain/Process，具有Markov Property的随机过程：$P(S_{t+1}|S_t,S_{t-1},\cdots ,S_1)=P(S_{t+1}|S_t)$
State Space Model：（HMM，Kalman Filter，Particle Filter）Markov Chain+Observation
Markov Reward Process：Markov Chain+Reward
Markov Decision Process：Markov Chain+Reward+Action

$$\begin{gathered} S:stateset\to S_t \\ A:actionset,\forall s\in S,A(s)\to A_t \\ R:rewardset\to R_t,R_{t+1} \end{gathered}$$

二、动态特性

Markov Chain：$S$
MRP：$S,R$
MDP：$S,A(s),R,P（动态特性）$

P : p ( s ′ , r ∣ s , a ) ≜ P r { S t + 1 = s ′ , R t + 1 = r ∣ S t = s , A t = a } P:p(s',r|s,a)\triangleq Pr\{S_{t+1}=s',R_{t+1}=r|S_t=s,A_t=a\} P:p(s′,r∣s,a)≜Pr{ St+1​=s′,Rt+1​=r∣St​=s,At​=a}
状态转移函数：

$$P(s^{\prime }|s,a)\sum _{r\in R}P(s^{\prime },r|s,a)$$

三、价值函数

Policy：$\pi$表示

1. 确定性策略：$$a\triangleq \pi (s)$$
2. 随机性策略： π ( a ∣ s ) ≜ P r { A t = a ∣ S t = s } \pi(a|s)\triangleq Pr\{A_t=a|S_t=s\} π(a∣s)≜Pr{ At​=a∣St​=s}

回报：
G t = R t + 1 + γ R t + 2 + γ 2 R t + 3 + ⋯ + γ r − 1 R T = ∑ i = 0 ∞ γ i R t + i + 1      ( T → ∞ ) γ ∈ [ 0