【强化学习的数学原理】第十课：Actor-Critic

actor 与 critic

• actor：策略，更新策略的过程
• critic：依据value estimation 的 policy evaluation

$${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi \left(a_t\mid s_t,{\theta }_t\right)q_t\left(s_t,a_t\right)$$

• 上式子就是actor算法
• $q_t\left(s_t,a_t\right)$是critic方法
  • 上节课说的采用蒙特卡洛的方法其就是REINFORCE
  • 本节课采用的TD方法来进行解决就是actor-critic方法

【QAC伪代码】

• 目标：为了 maximizing $J(\theta )$. 选择最优的策略

• 在每一步$t$，首先依据$\pi \left(a\mid s_t,{\theta }_t\right)$生成$a_t$，获得$r_{t+1},s_{t+1}$，然后依据$\pi \left(a\mid s_{t+1},{\theta }_t\right)$获得$a_{t+1}$…$\left(s_t,a_t,r_{t+1},S_{t+1},a_{t+1}\right)$

  • Critic（value update）：
    $$\begin{array}{rl}& w_{t+1}=w_t+{\alpha }_w\left[r_{t+1}+\gamma q\left(s_{t+1},a_{t+1},w_t\right)-q\left(s_t,a_t,w_t\right)\right]{\nabla }_{w}q\left(s_t,a_t,w_t\right)\end{array}$$

  • Actor（policy update）：
    $${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }\ln \pi \left(a_t\mid s_t,{\theta }_t\right)q\left(s_t,a_t,w_{t+1}\right)$$

【Advantage actor-critic（A2C）】

在QAC的基础上增加一个片质量来减少估计的方差

$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\mathbb{E}}_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi \left(A\mid S,{\theta }_t\right)q_{\pi }(S,A)\right]\\ & ={\mathbb{E}}_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi \left(A\mid S,{\theta }_t\right)\left(q_{\pi }(S,A)-b(S)\right)\right]\end{array}$$

• 在其后增加一个$b(S)$是一个偏执量，关于$S$的函数其俩是相同的

问题1：为什么成立？

回答：因为：
$${\mathbb{E}}_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi \left(A\mid S,{\theta }_t\right)b(S)\right]=0$$

$$\begin{array}{rl}{\mathbb{E}}_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi \left(A\mid S,{\theta }_t\right)b(S)\right]& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}\pi \left(a\mid s,{\theta }_t\right){\nabla }_{\theta }\ln \pi \left(a\mid s,{\theta }_t\right)b(s)\\ & =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi \left(a\mid s,{\theta }_t\right)b(s)\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi \left(a\mid s,{\theta }_t\right)\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s){\nabla }_{\theta }\sum _{a\in \mathcal{A}}\pi \left(a\mid s,{\theta }_t\right)\\ & =\sum _{s\in \mathcal{S}}\eta (s)b(s){\nabla }_{\theta }1=0\end{array}$$

问题2：为什么考虑偏执量？

回答：因为对方差有影响，想找最好的偏执使得方差最少。
$$b(s)={\mathbb{E}}_{A\sim \pi }[q(s,A)]=v_{\pi }(s)$$

✌将偏置用到actor-critic中：

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha \mathbb{E}\left[{\nabla }_{\theta }\ln \pi \left(A\mid S,{\theta }_t\right)\left[q_{\pi }(S,A)-v_{\pi }(S)\right]\right]\\ & \doteq {\theta }_t+\alpha \mathbb{E}\left[{\nabla }_{\theta }\ln \pi \left(A\mid S,{\theta }_t\right){\delta }_{\pi }(S,A)\right]\end{array}$$

其中：
$${\delta }_{\pi }(S,A)\doteq q_{\pi }(S,A)-v_{\pi }\left(S\right)$$
于是：
$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi \left(a_t\mid s_t,{\theta }_t\right){\delta }_t\left(s_t,a_t\right)\\ & ={\theta }_t+\alpha \frac{{\nabla }_{\theta }\pi \left(a_t\mid s_t,{\theta }_t\right)}{\pi \left(a_t\mid s_t,{\theta }_t\right)}{\delta }_t\left(s_t,a_t\right)\\ & ={\theta }_t+\alpha \underset{\text{step size }}{\underbrace{\left(\frac{{\delta }_t\left(s_t,a_t\right)}{\pi \left(a_t\mid s_t,{\theta }_t\right)}\right)}}{\nabla }_{\theta }\pi \left(a_t\mid s_t,{\theta }_t\right)\end{array}$$
最优策略是逼近TD error：
$${\delta }_t=q_t\left(s_t,a_t\right)-v_t\left(s_t\right)\to r_{t+1}+\gamma v_t\left(s_{t+1}\right)-v_t\left(s_t\right)$$

✌A2C（TD actor-critic）伪代码：

• 目标：为了 maximizing $J(\theta )$. 选择最优的策略

• 在每一步$t$，首先依据$\pi \left(a\mid s_t,{\theta }_t\right)$生成$a_t$，获得$r_{t+1},s_{t+1}$，

  • TD error（advantage function）：
    $${\delta }_t=r_{t+1}+\gamma v\left(s_{t+1},w_t\right)-v\left(s_t,w_t\right)$$

  • Critic（value update）：
    $$w_{t+1}=w_t+{\alpha }_w{\delta }_t{\nabla }_{w}v\left(s_t,w_t\right)$$

  • Actor（policy update）：
    $${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\delta }_t{\nabla }_{\theta }\ln \pi \left(a_t\mid s_t,{\theta }_t\right)$$

【Off-policy actor-critic】

✌重要性采样：

$${\mathbb{E}}_{X\sim p_0}[X]=\sum _x{p}_0(x)x=\sum _x{p}_1(x)\underset{f(x)}{\underbrace{\frac{p_0(x)}{p_1(x)}}}x={\mathbb{E}}_{X\sim p_1}[f(X)]$$

• 如何求${\mathbb{E}}_{X\sim p_1}[f(X)]$？
  $$\bar{f}\doteq \frac{1}{n}\sum _{i=1}^{n}f\left(x_i\right),\text{ where }{x}_i\sim p_1$$

于是：
$$\begin{array}{rl}{\mathbb{E}}_{X\sim p_1}[\bar{f}]& ={\mathbb{E}}_{X\sim p_1}[f(X)]\\ {\mathrm{var}}_{X\sim p_1}[\bar{f}]& =\frac{1}{n}{\mathrm{var}}_{X\sim p_1}[f(X)]\end{array}$$
于是我们要求的可以写成：
$${\mathbb{E}}_{X\sim p_0}[X]\approx \bar{f}=\frac{1}{n}\sum _{i=1}^{n}f\left(x_i\right)=\frac{1}{n}\sum _{i=1}^n\frac{p_0\left(x_i\right)}{p_1\left(x_i\right)}{x}_i$$

• $\frac{p_0\left(x_i\right)}{p_1\left(x_i\right)}$：叫做重要性权重
  • $p_1\left(x_i\right)=p_0\left(x_i\right)$：重要性权重是1，$\bar{f}$是$\bar{f}$$\bar{x}$
  • $p_0\left(x_i\right)\ge p_1\left(x_i\right)$：给它重要性权重

✌off-policy gradient：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{S\sim \rho ,A\sim \beta }\left[\frac{\pi (A\mid S,\theta )}{\beta (A\mid S)}{\nabla }_{\theta }\ln \pi (A\mid S,\theta )q_{\pi }(S,A)\right]$$

✌off-policy actor-critic：

$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\frac{\pi \left(a_t\mid s_t,{\theta }_t\right)}{\beta \left(a_t\mid s_t\right)}{\nabla }_{\theta }\ln \pi \left(a_t\mid s_t,{\theta }_t\right)\left(q_t\left(s_t,a_t\right)-v_t\left(s_t\right)\right)$$

其中：
$$q_t\left(s_t,a_t\right)-v_t\left(s_t\right)\approx r_{t+1}+\gamma v_t\left(s_{t+1}\right)-v_t\left(s_t\right)\doteq {\delta }_t\left(s_t,a_t\right)$$
于是可以重写为：

【Deterministic actor-critic（DPG）】

之前：

现在：

$\pi (a\mid s,\theta )\in [0,1]$这个策略可以是随机的也可以是确定的，现在我们将deterministic策略定义为：
$$a=\mu (s,\theta )\doteq \mu (s)$$
这个呢是从状态空间到动作空间的映射，有时也写成$\mu (s)$

$$J(\theta )=\mathbb{E}\left[v_{\mu }(s)\right]=\sum _{s\in \mathcal{S}}{d}_0(s)v_{\mu }(s)$$

• 第一种是$d_0\left(s_0\right)=1$ and $d_0\left(s\ne s_0\right)=0$，这种情况下从一种状态开始进行优化
• 第二种是$d_0$是平稳分布的，它是off-policy的

使用梯度上升的方法：
$${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }\left({\mathbb{E}}_{S\sim {\rho }_{\mu }}\right)\left[{{\nabla }_{\theta }\mu (S)\left({\nabla }_a{q}_{\mu }(S,a)\right)|}_{a=\mu (S)}\right]$$
这里面的均值变为：
$${\theta }_{t+1}={\theta }_t+{{\alpha }_{\theta }{\nabla }_{\theta }\mu \left(s_t\right)\left({\nabla }_a{q}_{\mu }\left(s_t,a\right)\right)|}_{a=\mu \left(s_t\right)}$$