【强化学习】周博磊第3章 无模型的价值估计和控制

周博磊 第3章 无模型的价值估计和控制

Model Free

• 价值迭代和策略迭代都需已知Dynamic 和 reward [reward 是R(s,a), 是期望奖励]
• Model free 无需知道Dynamic 和 reward
• Trajectory/Epsisode: {s1, a1, r1, s2, a2, r2 …}

Model Free Prediction

在未知MDP的情况下估计价值函数

• Monte Carlo Policy Evaluation
• Temporal Difference learning

Monte Carlo 蒙特卡洛方法

• Return定义：依据策略$\pi$, $G_t=R_{t+1}+\gamma R_{t+2}+\gamma R_{t+3}+...$
• $v^{\pi }(s)={\mathbb{E}}_{\tau \sim \pi }[G_t|s_t=s]$ 轨迹$\tau$ 由策略$\pi$产生
• MC：通过大量的采样得到轨迹$\tau$，计算实际的return来估算价值函数

Monte-Carlo 策略估计

主要通过大数定律来计算

1. 记录 episode 每个步骤中的s
2. N(s) $\leftarrow$ N(s) + 1
3. S(s) $\leftarrow$ S(s) + $G_t$
4. v(s) = S(s) / N(s)

Incremental Mean

通过叠加计算的方式很重要，后续的推导经常采用
$$\begin{gathered} {\mu }_t=\frac{1}{t}\sum _{j=1}^t{x}_j \\ =\frac{1}{t}(x_t+\sum _{j=1}^{t-1}{x}_j) \\ =\frac{1}{t}(x_t+(t-1){\mu }_{t-1}) \\ ={\mu }_{t-1}+\frac{1}{t}(x_t-{\mu }_{t-1}) \end{gathered}$$

Incremental MC updates

1. 获取轨迹（$S_1,A_1,R_1...,S_t$）
2. $N(S)$ $\leftarrow$ $N(S_t)$ + 1
   $V(S_t)\leftarrow V(S_t)+\frac{1}{N(S_t)}(G_t-V(S_t))$
   or. 下面试用在non-stationary问题
   $V(S_t)\leftarrow v(S_t)+\alpha (G_t-v(S_t)))$

DP与MC的区别

• MC是无模型的，并不已知MDP
• MC通过大量采样获得。即使已经MDP，如果动作及状态空间巨大，MC优于DP。DP 要考虑所有的动作和子状态。
  DP:
  

MC:

TD

• TD无需知道MDP
• 可以从非完整序列中，通过bootstraping 方式学习
  算法：
  $v(S_t)\leftarrow v(S_t)+\alpha (R_{t+1}+\gamma v(S_{t+1})-V(S_t))$
  $\delta =R_{t+1}+\gamma v(S_{t+1})-V(S_t))$ TD误差
• 与MC相比
  $V(S_t)\leftarrow v(S_t)+\alpha (G_t-v(S_t)))$
  

n步TD方法

介于TD与MC之间，考虑了多个step

DP MC 及 TD对比

DP:

MC:

TD:

Monte Carlo with $ϵ$-Greedy Exploration

为了平衡exploration 和 expliot

• exploration：探索 如何去探索这个环境，通过尝试不同的行为得到一个最佳的策略
• expoitation：利用 不去尝试新的东西，采取已知得到很大奖励的行为
  $\pi (a|s)=\{\begin{array}{lc}ϵ/|A|+1-ϵ,& ifa=argma{x}_{a\in A}{q}^{\ast }(s,a)\\ ϵ/|A|,& otherwise\end{array}$
  说明：

收敛性证明：基于$ϵ$ 贪心策略的方式可以收敛

算法流程：

MC vs TD Prediction 与 Control

TD 优势：

• 低方差
• 在线更新
• 无需完整的epsidode

Sarsa 算法

step action reward step

n-step Sarsa
考虑了N步

On policy vs Off Policy

on policy

从$\pi$中采集数据并且学习，即目标策略和行动策略同样都是$\pi$

off policy

1. 目标策略 $\pi$：目标学习要优化的策略
2. 行动策略 $\mu$：采样策略
   

优势：

• 从exploratory policy学习最优策略
• 可以加入人类或者其他agent采用的样本
• 可以重复利用旧策略采用的数据 【强化学习对旧样本利用重要，样本的搜集非常消耗cpu等资源，能高效的利用旧样本是强化学习的重点之一】

Off Policy Q-learning

目标策略$\pi$： $\pi (S_{t+1})={\mathrm{argmax}}_{a^{{}^{\prime }}}Q(S_{t+1},a^{{}^{\prime }})$
行为策略$\mu$：基于$ϵ$贪心策略的Q(s, a)

Sarsa vs Q-learning

Sarsa: on-policy
更新目标策略真的实际采样，目标策略和行为策略一致
Q-learning: off-policy
更新目标策略未进行真实采样，Imagine最大的$Q_{\max a}(s,a)$

DP vs TD

DP: 已知MDP，根据动态转移矩阵考虑后续所有状态，计算的状态的期望
TD：未知MDP，通过采样的方式进行。考虑当前状态及下一个状态

代码

https:
//github.com/cuhkrlcourse/RLexample/tree/master/modelfree