强化学习-李(五)：Actor-Critic【使用Critic（比如Q-Learning）作为Policy Gradient算法中评估策略好坏的手段】【可以处理离散型action、连续型action】

$$\begin{array}{r}\text{强化学习算法}\{\begin{array}{l}\text{Value-Based Approach：Critic}\{\begin{array}{l}\text{State value function Vπ(s)}\\ \text{State-Action value function Qπ(s,a) ⟹ Q-Learning算法【训练Critic/值函数的参数：基于值函数结果来“间接”挑选最优 π】}\end{array}\\ \text{Policy-Based Approach：Policy Gradient算法【“直接”训练 Actor/Policy π 的参数】}\text{⟹ PPO算法}\\ \text{Actor+Critic}【\text{使用Critic（比如Q-Learning）作为Policy Gradient算法（包括PPO）中评估策略好坏（Advantage）的手段}】\end{array}\end{array}$$

一、Policy Gradient、Q-Learning算法缺点

1、Policy Gradient算法的缺点

$$\begin{array}{rl}{\nabla }_{\theta }{\overline{R}}_{\theta }& =\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^{T_i}\left[(\sum _{t^{\prime }=t}^{T_i}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^i-b){\nabla }_{\theta }log{p}_{\theta }(a_t^i|s_t^i)\right]\end{array}$$

• 在某一个 state $s$ 采取某一个 action $a$ 之后发生的事情虽然有固定的distribution，但是还是有随机性的。
  
• 如上图，在某一个 state $s$ 采取某一个 action $a$ 之后发生的事情的distribution的variance可能非常大。即：在某一个 state $s$ 采取某一个 action $a$ 之后得到的结果可能会是天差地别。上式中的 ${\sum }_{t^{\prime }=t}^{T_i}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^i$ 是通过与环境有限次的互动获得的采样数据计算出来的，所以非常不稳定；
• 如果取样次数够多，则不会有问题，但是实践中在update参数之前所采的样往往不够多，所以结果往往不够理想。

2、Q-Learning算法的缺点

• Q-learning的缺点：由于Q-learning的做法是“选取一个使Q最大的action”：${\pi }^{\prime }(s)=\arg {\max }_a{Q}^{\pi }(s,a)$，因此这个action的取值空间通常是有限且离散的，Q-learning不太容易处理连续的 action，因为无法穷举所有可能的连续action（比如：自驾车的方向盘转的角度、机器人关节的扭转角度等）；而policy gradient则不存在这个问题，因为它通过policy模型根据state直接输出最优的action，那么这个action可以是任意连续的值。面对一个很大的action集合，Q-learning要计算很多遍Q值，即进行很多遍神经网络的前馈过程；相比之下，policy gradient的网络只需进行一遍网络的前馈，输出一个action值，然后与action集合中的各个值比较，选取最接近的那一个action即可。

二、Actor-Critic

$$\begin{array}{rl}{\nabla }_{\theta }{\overline{R}}_{\theta }& =\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^{T_i}\left[(\sum _{t^{\prime }=t}^{T_i}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^i-b){\nabla }_{\theta }log{p}_{\theta }(a_t^i|s_t^i)\right]\\ & =\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^{T_i}\left\{[Q^{{\pi }_{\theta }}(s_t^i,a_t^i)-V^{{\pi }_{\theta }}(s_t^i)]{\nabla }_{\theta }log{p}_{\theta }(a_t^i|s_t^i)\right\}\end{array}$$

• $\text{∵}$ ${\sum }_{t^{\prime }=t}^{T_i}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^i=Q^{{\pi }_{\theta }}(s_t^i,a_t^i)$ ，所以将Policy Gradient算法中的 ${\sum }_{t^{\prime }=t}^{T_i}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^i$ 换成 Critic中的一种，即 State-Action value function：$Q^{{\pi }_{\theta }}(s_t^i,a_t^i)$
• 将Policy Gradient算法中的 $b$ 换成 Critic中的一种，即 State value function：$V^{\pi }(s)$

三、Advantage Actor-Critic（A2C）

• 实践中，如果简单地用式子 $Q^{{\pi }_{\theta }}(s_t^i,a_t^i)-V^{\pi }(s)$ 代替 ${\sum }_{t^{\prime }=t}^{T_i}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^i-b$，也可以操作，但是要使用 2 个Network，一个负责 $Q^{{\pi }_{\theta }}(s_t^i,a_t^i)$，另一个负责 $V^{\pi }(s)$。估测不准的风险增大。所以要想办法简化模型。
• $\text{∵}$ $$Q^{\pi }(s_t^i,a_t^i)=E[r_t^i+V^{\pi }(s_{t+1}^i)]$$ 在 state $s_t$ 采取 action $a_t$，接下来你会得到 reward $r_t$，然后跳到 state $s_{t+1}$，但是你会得到什么样的 reward $r_t$ 以及跳到什么样的 state $s_{t+1}$，本身是有随机性的，所以要取一个期望值，左式才会等于右式。即 $Q^{\pi }(s_t^i,a_t^i)$ 等于 $r_t^i+V^{\pi }(s_{t+1}^i)$ 的期望值。
• 现在把期望值这件事情拿掉，直接让 $Q^{\pi }(s_t^i,a_t^i)=r_t^i+V^{\pi }(s_{t+1}^i)$
  $$\begin{array}{rl}{\nabla }_{\theta }{\overline{R}}_{\theta }& =\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^{T_i}\left[(\sum _{t^{\prime }=t}^{T_i}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^i-b){\nabla }_{\theta }log{p}_{\theta }(a_t^i|s_t^i)\right]\\ & =\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^{T_i}\left\{[Q^{{\pi }_{\theta }}(s_t^i,a_t^i)-V^{{\pi }_{\theta }}(s_t^i)]{\nabla }_{\theta }log{p}_{\theta }(a_t^i|s_t^i)\right\}\\ & =\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^{T_i}\left\{[r_t^i+V^{\pi }(s_{t+1}^i)-V^{{\pi }_{\theta }}(s_t^i)]{\nabla }_{\theta }log{p}_{\theta }(a_t^i|s_t^i)\right\}\end{array}$$
• 此时，只需要用1个Network来负责 $V^{\pi }(s)$ 就够了。但是坏处是引入了随机量 $r_t$，但是 $r_t$ 的随机性要远小于 ${\sum }_{t^{\prime }=t}^{T_i}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^i$ 的随机性。所以把 Variance 比较大的 ${\sum }_{t^{\prime }=t}^{T_i}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^i$ 换成 Variance 比较小的 $r_t$ 也是合理的。

• 整个流程是这样子的：
  • 我们现在先初始化一个 actor/policy $\pi$，让 $\pi$ 去跟环境做互动采样，如果在 Policy Gradient算法中，采样完毕后就会直接去 update 你的 policy。但是在 A2C 算法里面，采样后不是直接去 update 你的 policy，而是拿这些资料去 estimate 出 $V^{\pi }(s)$ 值。
  • estimate 出 $V^{\pi }(s)$ 值以后，利用 $\begin{array}{r}{\nabla }_{\theta }{\overline{R}}_{\theta }=\frac{1}{N}\sum _{i=1}^N\sum _{t=1}^{T_i}\left\{[r_t^i+V^{\pi }(s_{t+1}^i)-V^{{\pi }_{\theta }}(s_t^i)]{\nabla }_{\theta }log{p}_{\theta }(a_t^i|s_t^i)\right\}\end{array}$ 去 update $\pi$，得到新的 ${\pi }^{\prime }$。
  • 利用新的 ${\pi }^{\prime }$再去跟环境做互动采样，迭代下去。
• Actor-Critic 的时候一定要用的 Tips：
  
  1. 要 estimate 的 network 有两个，一个是 $V^{\pi }(s)$ 的 Network，一个是 actor/policy $\pi$ 的 Network。这两个 Network 前几层 Layer 的参数共用。
  2. exploration 的机制：对 $\pi$ 的 output 添加一个 constrain/限制，这个 constrain 是希望 $\pi$ 的 output 的 distribution 的 entropy 不要太小，希望这个 distribution 的 entropy 可以大一点，也就是希望不同的 action 被采用的机率平均一点。这样在 testing 的时候， $\pi$ 才会多尝试各种不同的 action，才会把这个环境探索的比较好，explorer 的比较好，才会得到比较好的结果。

四、Asynchronous Advantage Actor-Critic (A3C)【开分身同步训练】

• A3C 算法的大体思想是：同时开很多个 worker，那每一个 worker 其实就是一个分身，最后这些分身会把所有的经验通通集合在一起。
• A3C 算法实操时需要很多个 CPU同时运作，每个分身 Worker 需要用一个CPU来计算。
  
• A3C算法基本流程，每个Worker同时进行如下流程：
  1. Copy global parameters
  2. Sampling some data
  3. Compute gradients
  4. Update global models
• 不需要在意各个Worker之间的协同性问题。

五、Pathwise Derivative Policy Gradient（DDPG）【类似GAN】

• 我们在使用 Critic（评估价值）的过程中，传统的方法只是给一个评估的值得大小，我们利用评估的值，采取增加倾向于评估值大的action的概率。
• 但是如果Critic不但给出对于action的评价，而且给出actor下一步的建议呢。（就像老师不但把我们作业批改了，然后还给出了怎么做好作业的建议，而传统的Critic知只是一个能给我们批改作业的老师，但是没有给出建议）
• Deepmind 大神David Silver 给了我们一个“既能批改作业，又能给我们指导未来的老师”的算法. Pathwise derivative policy gradient。

1、DDPG算法思路

• 思路是建立一个actor的network，它能够选择Q-learning 中的最大值。

• 具体算法结构如下：
  1. 先初始化一个 Actor ${\pi }_0$；
  2. 利用 Actor ${\pi }_0$ 与环境互动采样，将采样喂给 Critic Network，得到 $Q^{{\pi }_0}$
  3. 固定 $Q^{{\pi }_0}$ 这个 Critic Network
  4. 利用 Actor ${\pi }_0$ 这个Network生成 action $a$，将生成的 $a$ 输入到 $Q^{{\pi }_0}$ 这个 Critic Network 中，通过不断梯度更新 Actor ${\pi }_0$ 使得 ${\pi }_0$ 生成的 $a$ 喂给 $Q^{{\pi }_0}$ 后的 Output 越来越大，更新结束时，Actor ${\pi }_0$ 更新为 Actor ${\pi }_1$。
  5. 利用 Actor ${\pi }_1$ 与环境互动采样，将采样喂给 Critic Network，得到 $Q^{{\pi }_1}$
  6. 如此反复，最终得到最优的 Actor ${\pi }^{\ast }$。

2、Q-Learning算法与DDPG算法对比

六、Actor-Critic 与 GAN 的联系

---

---

---

参考资料：
Connecting Generative Adversarial Networks and Actor-Critic Methods