R-learning 马尔可夫决策

1、马尔可夫决策定义（Markov）

$$MDP=(S,A,P,R)$$
$$MDP=(S,A,P,R,\gamma )$$

a、基本概念说明

符号	说明	符号	说明
s (state)	环境状态	S	环境状态集合 s∈S
a (action)	动作状态	A	动作状态集合 a∈A
r (reward)	环境回报（奖励）
γ	衰减因子γ∈[0~1]
t	时刻
P(probability)	转移概率

b、策略过程

智能体(agent)与环境(environment)一直在互动。在每个时刻t，智能体(agent)会接收到来自环境的状态s，基于这个状态s，智能体(agent)会做出动作a，然后这个动作作用在环境上，于是智能体(agent)可以接收到一个奖赏Rt+1，并且智能体(agent)就会到达新的状态s。

{ S t , A t , R t + 1 , S t + 1 , A t + 1 , R t + 2 . . . } \lbrace S_t,A_t,R_{t+1},S_{t+1},A_{t+1},R_{t+2}...\rbrace { St​,At​,Rt+1​,St+1​,At+1​,Rt+2​...}
c、状态转移概率

在t时刻，s状态下, 由s==>s (t+1)的概率

$$P_{s,s^{\prime }}=\mathrm{P}[(S_{t+1}=s^{\prime }|S_t=s)]$$

在t时刻，s状态下，执行动作a情况下，由s==>s (t+1)的概率

$$P_{s,s^{\prime }}^a=\mathrm{P}[(S_{t+1}=s^{\prime }|S_t=s,A_t=a)]$$

d、回报函数

在t时刻，s状态下 由s==>s(t+1)的回报

$$R_s=E[R_{t+1}|S_t=s]$$

在t时刻，s状态下，执行动作a情况下，由s==>s (t+1)的回报

$$R_s^a=E[R_{t+1}|S_t=s,A_t=a]$$

实例说明：
从状态class1 执行动作1 ==> class2 的概率 = 0.5 回馈R = -2
从状态class1 执行动作2 ==> Facebook的概率 = 0.5 回馈R= -1

e、总收益回报

从开始状态，一直到现在T时刻的，所有状态转移的回报总和 回报 (所有经历的状态所得到的回馈和)

$$G_t=$$