1、马尔可夫决策定义(Markov)
M D P = ( S , A , P , R ) MDP = (S,A,P,R) MDP=(S,A,P,R)
M D P = ( S , A , P , R , γ ) MDP = (S,A,P,R, γ) MDP=(S,A,P,R,γ)
a、基本概念说明
符号 | 说明 | 符号 | 说明 |
---|---|---|---|
s (state) | 环境状态 | S | 环境状态集合 s∈S |
a (action) | 动作状态 | A | 动作状态集合 a∈A |
r (reward) | 环境回报(奖励) | ||
γ | 衰减因子γ∈[0~1] | ||
t | 时刻 | ||
P(probability) | 转移概率 |
b、策略过程
智能体(agent)与环境(environment)一直在互动。在每个时刻t,智能体(agent)会接收到来自环境的状态s,基于这个状态s,智能体(agent)会做出动作a,然后这个动作作用在环境上,于是智能体(agent)可以接收到一个奖赏Rt+1,并且智能体(agent)就会到达新的状态s。
{ S t , A t , R t + 1 , S t + 1 , A t + 1 , R t + 2 . . . } \lbrace S_t,A_t,R_{t+1},S_{t+1},A_{t+1},R_{t+2}...\rbrace {
St,At,Rt+1,St+1,At+1,Rt+2...}
c、状态转移概率
在t时刻,s状态下, 由s==>s (t+1)的概率
P s , s ′ = P [ ( S t + 1 = s ′ ∣ S t = s ) ] P_{s,s^\prime} = \Rho[(S_{t+1}=s^\prime | S_t=s)] Ps,s′=P[(St+1=s′∣St=s)]
在t时刻,s状态下,执行动作a情况下,由s==>s (t+1)的概率
P s , s ′ a = P [ ( S t + 1 = s ′ ∣ S t = s , A t = a ) ] P_{s,s^\prime}^{a} = \Rho[(S_{t+1}=s^\prime | S_t=s, A_t=a)] Ps,s′a=P[(St+1=s′∣St=s,At=a)]
d、回报函数
在t时刻,s状态下 由s==>s(t+1)的回报
R s = E [ R t + 1 ∣ S t = s ] R_s = E[R_{t+1}|S_t=s] Rs=E[Rt+1∣St=s]
在t时刻,s状态下,执行动作a情况下,由s==>s (t+1)的回报
R s a = E [ R t + 1 ∣ S t = s , A t = a ] R_{s}^a = E[R_{t+1}|S_t=s, A_t=a] Rsa=E[Rt+1∣St=s,At=a]
实例说明:
从状态class1 执行动作1 ==> class2 的概率 = 0.5 回馈R = -2
从状态class1 执行动作2 ==> Facebook的概率 = 0.5 回馈R= -1
e、总收益回报
从开始状态,一直到现在T时刻的,所有状态转移的回报总和 回报 (所有经历的状态所得到的回馈和)
G t = R t + 1 + R t + 2 + R t + 3 + . . . + R t + n G_t = R_{t+1}+ R_{t+2}+R_{t+3}+... +R_{t+n} Gt=