David Silver 第二讲MP&MRP基本概念

马尔可夫过程MP

Definition:The Future is independent of the past given the present.

将来和过去是独立的，只和现在有关。
P(S_t+1|S_t) = P(S_t+1|S₁,S₂,…S_t)
由此可见，t时刻到t+1时刻的转移只和这两个时刻有关，和其他时刻无关。

马尔可夫奖励过程MRP

马尔可夫奖励过程 可以认为是 马尔可夫过程+奖励

在MRP中最重要的就是要区分奖励，回报，价值
先做定义：
奖励：到达某个状态时，该状态返回给agent的一个奖励，记为Reward，代号R；
回报：到达某个状态时，从这个状态再出发到最终停止可以得到的奖励（一次实验），记为Return，代号G(R被用了，所以只能拿Gain做标记了，哈哈)
价值：描述一个状态的好坏，用Value Function来表示，到达某个状态时，从这个状态再出发到最终停止可以得到的奖励的折扣和的期望（多次实验的期望），记为V(s)

接下来，一个一个讲
1、奖励
R_s = E[R_t+1|S_t=s];(官方)
有的地方记为R_s = E[R_t|S_t=s];
但是我认为第二种定义更贴合Reward的定义，即在t时刻到达状态s时，系统所给的奖励。

2、回报
G_t=R_t+1+yR_t+2 +y²R_t+3+…
即回报只关心一次实验，每次实验都有每次实验的回报

3、价值
v(s)=E[G_t|S_t=s]
上述G_t是针对一条实验，而一个状态的值是要对所有的实验进行求期望，即回报的期望就是该状态的值
理论上，可以通过蒙特卡洛实验做无穷次实验来求回报的期望作为状态的价值。不过有迭代的贝尔曼方程的方法简化计算。