时序差分方法
动态规划的公式是在每执行一步策略后更新值函数,但必须模型可知;
蒙特卡罗方法对末知模型进行动态值估计,但需要在完成一个采样阶段后才能更新值函数。
而时序差分方法则结合了动态规划和蒙特卡罗方法的思想,做到更高效的免模型学习。
1、公式推导
动态规划:
vπ(s)=E(r+g∗vπ(s′))
v
π
(
s
)
=
E
(
r
+
g
∗
v
π
(
s
′
)
)
E:
E
:
数学期望,
g:
g
:
折扣率;
蒙特卡罗方法:
Vt+1(s)=Vt(s)+a(vt+1(s)−Vt(s))
V
t
+
1
(
s
)
=
V
t
(
s
)
+
a
(
v
t
+
1
(
s
)
−
V
t
(
s
)
)
Vt(s):
V
t
(
s
)
:
t阶段后状态
s
s
的状态值,第t阶段状态
s
s
的状态值;
将动态规划中的公式代入蒙特卡罗方法中的公式得:
=Vt(s)+a(E(r+g∗vπ(s′))−Vt(s))
=
V
t
(
s
)
+
a
(
E
(
r
+
g
∗
v
π
(
s
′
)
)
−
V
t
(
s
)
)
=Vt(s)+a(rt+1+g∗Vt(s′)−Vt(s))
=
V
t
(
s
)
+
a
(
r
t
+
1
+
g
∗
V
t
(
s
′
)
−
V
t
(
s
)
)
动作值函数也可以使用这公式,因此:
2、类别
根据 Qt(s′,a′) Q t ( s ′ , a ′ ) 的选择不同,可以分三种方法:
sarsa0:根据e贪婪策略随机选择下一个状态
s′
s
′
的动作
a′
a
′
,并将
Qt(s′,a′)
Q
t
(
s
′
,
a
′
)
作为预测的动作值;
Qt+1(s,a)=Qt(s,a)+a(rt+1+g∗Qt(s′,a′)−Qt(s,a))
Q
t
+
1
(
s
,
a
)
=
Q
t
(
s
,
a
)
+
a
(
r
t
+
1
+
g
∗
Q
t
(
s
′
,
a
′
)
−
Q
t
(
s
,
a
)
)
sarsamax(Q学习):将下一个状态
s′
s
′
的最大动作值作为预测的动作值;
Qt+1(s,a)=Qt(s,a)+a(rt+1+g∗max(Qt(s′,a′))−Qt(s,a))
Q
t
+
1
(
s
,
a
)
=
Q
t
(
s
,
a
)
+
a
(
r
t
+
1
+
g
∗
m
a
x
(
Q
t
(
s
′
,
a
′
)
)
−
Q
t
(
s
,
a
)
)
预期sarsa:根据e贪婪策略,将下一个状态
s′
s
′
的状态值作为预测的动作值;
Qt+1(s,a)=Qt(s,a)+a(rt+1+g∗∑a′∈A(s′)π(a′|s′)∗Qt(s′,a′)−Qt(s,a))
Q
t
+
1
(
s
,
a
)
=
Q
t
(
s
,
a
)
+
a
(
r
t
+
1
+
g
∗
∑
a
′
∈
A
(
s
′
)
π
(
a
′
|
s
′
)
∗
Q
t
(
s
′
,
a
′
)
−
Q
t
(
s
,
a
)
)
3、性能分析
1、Sarsa 和预期 Sarsa 都是异同策略 TD 控制算法。在这种情况下,我们会根据要评估和改进的相同(e贪婪策略)策略选择动作。
2、Sarsamax 是离线策略方法,我们会评估和改进(e贪婪)策略,并根据另一个策略选择动作。
3、既定策略 TD 控制方法(例如预期 Sarsa 和 Sarsa)的在线效果比新策略 TD 控制方法(例如 Sarsamax)的要好。
4、预期 Sarsa 通常效果比 Sarsa 的要好。
5、Q 学习的在线效果更差(智能体在每个阶段平均收集的奖励更少),但是能够学习最优策略,以及Sarsa 可以获得更好的在线效果,但是学到的是次最优“安全”策略。