【强化学习纲要】学习笔记之Model-free Prediction and Control

【强化学习纲要】学习笔记系列

---

引入

model-free 模型可以针对未知的MDP问题

• 已知的MDP

Policy和Reward都是expose to agent，因此，可以方便地进行policy iteration和value iteration
(1) policy evalutaion采用Bellman expectation 进行迭代，此时policy保持不变，将状态空间中的所有state的value进行评估
$$v_i(s)=\sum _{a\in A}\pi (a|s)\left(R(s,a)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }|s,a)v_{i-1}(s^{\prime })\right)$$
然后，采用greedy算法根据action-value 的q function来选择最佳的policy，如此往复迭代value function 和 policy 直至收敛
$$\begin{array}{rl}{q}_{{\pi }_i}(s,a)& =R(s,a)+\gamma \sum _{s^{\prime }\in S}P\left(s^{\prime }\mid s,a\right)v_{{\pi }_i}\left(s^{\prime }\right)\\ {\pi }_{i+1}(s)& =\underset{a}{\mathrm{argmax}}{q}_{{\pi }_i}(s,a)\end{array}$$
由此得到，policy iteration = policy evaluation + policy improvement

(2) value iteration则是每次迭代都选择最优的policy得到最优的value function，迭代公式为：
$$v_{i+1}(s)\leftarrow \underset{a\in \mathcal{A}}{\max }R(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}P\left(s^{\prime }\mid s,a\right)v_i\left(s^{\prime }\right)$$
等value function收敛之后，再一次计算得到最优的policy
$${\pi }^{\ast }(s)\leftarrow \underset{a}{\mathrm{argmax}}R(s,a)+\gamma \sum _{s^{\prime }\in S}P\left(s^{\prime }\mid s,a\right)v_{\text{end }}\left(s^{\prime }\right)$$

• 未知的MDP

policy iteration 和 value iteration的假设都是环境的dynamics和rewards都是可观测的，但现实问题要嘛是未知的，或者太过于庞大
因此，迭代方法其实是利用完全已知的信息和现有的公式去迭代计算，但是没有用到agent和interaction的交互和反馈

model-free RL：从interaction中学习

交互过程可以用trajectory或episode来表示，包括
{ S 1 , A 1 , R 1 , S 2 , A 2 , R 2 , … , S T , A T , R T } \left\{S_{1}, A_{1}, R_{1}, S_{2}, A_{2}, R_{2}, \ldots, S_{T}, A_{T}, R_{T}\right\} {S1​,A1​,R1​,S2​,A2​,R2​,…,ST​,AT​,RT​}

Model-free prediction

采用的方法是policy evalution without access，也就是不用得到环境观测，也能进行policy的迭代，因此需要对特定policy的反馈进行估计，方法包括：

• Monte Carlo policy evaluation，即 蒙特卡洛策略评估， MC
• Temporal Difference learning，即 时间差分学习， TD

Monte-Carlo Policy Evaluation

蒙特卡洛方法的核心是采样

• return： 给定policy $\pi$， $G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots$
• value function 估计：$v^{\pi }(s)={\mathbb{E}}_{\tau \sim \pi }\left[G_t\mid s_t=s\right]$
• MC 仿真：采样得到许多轨迹，然后计算实际的return，并计算平均return
• MC policy evalatiton： 根据之前得到的平均return来评估
• MC 不要求MDP的动态过程或reward，也不需要bootstrapping的概率分布估计，同时不要求状态满足Markov
• MC只能用于离散MDPs

算法具体过程：

• 每个step评估state $v(s)$是通过采样，根据真实return来更新
• 通过大量的采样，逼近真实的$v^{\pi }(s)$
  $$\begin{array}{rl}{\mu }_t& =\frac{1}{t}\sum _{j=1}^t{x}_j\\ & =\frac{1}{t}\left(x_t+\sum _{j=1}^{t-1}{x}_j\right)\\ & =\frac{1}{t}\left(x_t+(t-1){\mu }_{t-1}\right)\\ & ={\mu }_{t-1}+\frac{1}{t}\left(x_t-{\mu }_{t-1}\right)\end{array}$$
  增量MC更新：
  $$\begin{array}{l}N\left(S_t\right)\leftarrow N\left(S_t\right)+1\\ v\left(S_t\right)\leftarrow v\left(S_t\right)+\frac{1}{N\left(S_t\right)}\left(G_t-v\left(S_t\right)\right)\\ v\left(S_t\right)\leftarrow v\left(S_t\right)+\alpha \left(G_t-v\left(S_t\right)\right)\end{array}$$

DP和MC在policy evalution上的区别

• DP 是通过boostrapping方法和前一步的value来估计下一步的value
  $$v_i(s)\leftarrow \sum _{a\in \mathcal{A}}\pi (a\mid s)\left(R(s,a)+\gamma \sum _{s^{\prime }\in \mathcal{S}}P\left(s^{\prime }\mid s,a\right)v_{i-1}\left(s^{\prime }\right)\right)$$
  

• MC 则是基于经验平均return进行采样
  $$v\left(S_t\right)\leftarrow v\left(S_t\right)+\alpha \left(G_{i,t}-v\left(S_t\right)\right)$$
  

• MC优势：MC可以应用于environment未知的场景，可以避免复杂的转换概率的推断，采样过程可以独立进行，适合大规模分布计算，之后再进行汇总计算平均return

Temporal-Difference （TD） Learning

• TD方法可以直接从历史经验中学习

• TD方法是model-free的，没有关于MDP转移方程和reward的先验知识

• TD是不完全的episodes学习，基于bootstrapping

• objective：给定policy，在线从经验中学习，更新$v_{\pi }$

• 最简单的TD算法：TD(0)，对return进行估计，$R_{t+1}+\gamma v\left(S_{t+1}\right)$
  $$v\left(S_t\right)\leftarrow v\left(S_t\right)+\alpha \left(R_{t+1}+\gamma v\left(S_{t+1}\right)-v\left(S_t\right)\right)$$

• $R_{t+1}+\gamma v\left(S_{t+1}\right)$称为TD target

• ${\delta }_t=R_{t+1}+\gamma v\left(S_{t+1}\right)-v\left(S_t\right)$称为TD error

• 与MC方法不同，MC方法的return是真实的，而TD方法是估计得到的
  

TD和MC对比

• TD可以在每个step之后在线学习，sequence可以是不完整的，TD可以利用Markov特性
• MC需要完成整个episode而得到return，sequence必须是完整的，MC不基于Markov特性
• 二者转化如下，MC相当于$TD(\infty )$
  

DP、MC、TD

• DP：bootstrap and no sampling，相当于广度优先，每个step都考虑当前最优（greedy learning）
• MC：sampling and no bootstrap，相当于深度优先，每次完成episode进行迭代
• TD：boostrap and samping ，相当于综合考虑广度和深度
• 完全搜索：完全采样，确定最优
  

Model-free Control for MDP

基于policy iteration with action-value function进行推广

• policy evaluation：采用MC policy evaluation
• policy improvement：greedy policy improvement
  

$ϵ$-Greedy Exploration

• trade-off exploration 和 exploitation
• $ϵ$就是有概率随机选择，而不会轻易陷入局部最优，跳出greedy
  $$\pi (a\mid s)=\{\begin{array}{ll}ϵ/|\mathcal{A}|+1-ϵ& \text{ if }{a}^{\ast }=\arg {\max }_{a\in \mathcal{A}}Q(s,a)\\ ϵ/|\mathcal{A}|& \text{ otherwise }\end{array}$$
• 算法过程：
  

TD学习相对于MC学习的优点

• lower variance
• online
• incomplete sequences

Sarsa： on-policy TD control

包含两次action

Q-learning: Off-policy control

• 根据上一个状态和action确定最优的policy

$$\pi \left(S_{t+1}\right)=\underset{a^{\prime }}{\mathrm{argmax}}Q\left(S_{t+1},a^{\prime }\right)$$

• 确定Q-learning的target
  $$\begin{array}{rl}{R}_{t+1}+\gamma Q\left(S_{t+1},A^{\prime }\right)& =R_{t+1}+\gamma Q\left(S_{t+1},\arg \max Q\left(S_{t+1},a^{\prime }\right)\right)\\ & =R_{t+1}+\gamma \underset{a^{\prime }}{\max }Q\left(S_{t+1},a^{\prime }\right)\end{array}$$

• Q-learning的迭代方程
  $$Q\left(S_t,A_t\right)\leftarrow Q\left(S_t,A_t\right)+\alpha \left[R_{t+1}+\gamma \underset{a}{\max }Q\left(S_{t+1},a\right)-Q\left(S_t,A_t\right)\right]$$

Sarsa 和 Q-learning对比

Sarsa是通过相同的采样进行action，两次的action是一样的，Q-learning是一次采样得到action，一次确定最优action，所以两次action不一样

从例子中看出，Sarsa总是选择最安全的路径（保守而可行），而Q-learning是选择最佳的路径（冒险而最佳）

summary of DP和TD