MDP

POMDP模型：状态不完全可见，考虑动作。即不完全可观察马尔可夫决策过程

基本概念：

一个马尔可夫决策过程由一个四元组构成M = (S, A, Psa, R) 

立即回报函数r(s,a)无法说明策略的好坏。因而需要定义值函数(value function，又叫效用函数)来表明当前状态下策略π的长期影响。 是值函数最常见的形式，式中γ∈[0,1]称为折合因子，表明了未来的回报相对于当前回报的重要程度。特别的，γ=0时，相当于只考虑立即不考虑长期回报，γ=1时，将长期回报和立即回报看得同等重要。

下个时刻将以概率p(s'|s,a)转向下个状态s'，那么上式的期望可以拆开，可以重写为：

注意在值函数中，策略π和初始状态s是我们定，初始动作是 被前两者确定。