RL中的策略优化问题

一、策略迭代

如果使用值函数重新定义强化学习的目标，我们可以得到：RL就是找到最优的策略，使得每一个状态的价值最大化。相当于求解
$${\pi }^{\ast }=argma{x}_a{q}_{{\pi }^{\ast }}(s,a)$$
而对于每一个状态对应的行为，我们希望找到使其价值最大化的行为：
$$a^{\ast }=argma{x}_a{q}_{{\pi }^{\ast }}(s,a)$$

可以看出为了求出最终的结果，我们需要同时更新交织在一起的策略与价值。这个问题有一个解决算法是 策略迭代法。

只要能得到精确的值函数，就可以使用贝尔曼公式求出最优策略，也就是说最优策略满足上面提到的公式2。

二、策略梯度

策略梯度法不采用迂回的方式更新策略，而是直接计算策略可能更新的方向。

回到问题的本质，RL的目标是最大化长期回报期望，于是目标可以写成如下形式：

$${\pi }^{\ast }={\mathrm{argmax}}_{\pi }{E}_{\mathbf{\tau }\sim \pi (\mathbf{\tau })}[r(\mathbf{\tau })]$$

其中 $\tau$ 表示使用策略进行交互得到的一条轨迹，$r(\tau )$ 表示这条轨迹的总体回报。由于值函数也是一个函数，我们可以将之表示为策略参数的函数，然后就可以通过求导的方式，使参数沿着梯度上升的方向更新，也就是提升策略了。这就是利用梯度的方法进行策略优化。

算法推导

将上述目标函数用$J(\theta )$ 表示，将轨迹的期望回报展开，可以得到

$$J(\theta )=E_{\mathbf{\tau }\sim {\pi }_{\theta }(\tau )}[r(\mathbf{\tau })]={\int }_{\mathbf{\tau }\sim {\pi }_{\theta }(\tau )}{\pi }_{\theta }(\mathbf{\tau })r(\mathbf{\tau })\mathrm{d}\mathbf{\tau }$$

由于策略函数通常是定义良好的函数，所以求导运算可以和积分运算互换，这样可以得到

$${\nabla }_{\theta }J(\theta )={\int }_{\tau \sim {\pi }_{\theta }(\tau )}{\nabla }_{\theta }{\pi }_{\theta }(\tau )r(\tau )\mathrm{d}\tau$$

为了方便计算，我们将上式进行一下变形。这里用到对数求导的基本公式
$${\nabla }_x\log y=\frac{1}{y}{\nabla }_{x}y$$

把 $y$ 乘到左边可得到
$$y{\nabla }_x\log y={\nabla }_{x}y$$

将 $y$ 替换成 ${\pi }_{\theta }(\tau )$， 将 $x$ 替换成 $\theta$ ，同时将公式左右两边互换，就可以得到
$${\nabla }_{\theta }{\pi }_{\theta }(\tau )={\pi }_{\theta }(\tau ){\nabla }_{\theta }\log {\pi }_{\theta }(\tau )$$

带入前面的公式，得到

$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\int }_{\tau \sim {\pi }_{\theta }(\tau )}{\pi }_{\theta }(\tau ){\nabla }_{\theta }\log {\pi }_{\theta }(\tau )r(\tau )\mathrm{d}\tau \\ & ={\mathbf{E}}_{\tau \sim {\pi }_{\theta }(\tau )}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(\mathbf{\tau })r(\mathbf{\tau })\right]\end{array}$$

求出的梯度公式还是有不易计算的部分，比如 ${\nabla }_{\theta }log{\pi }_{\theta }$.下面将公式进一步拆解。之前我们说过，$\tau$ 表示的是从状态 $s_t$ 出发的某条路径，那么假设轨迹总长度为 $T$,将其展开可以得到：

$$\begin{array}{rl}\pi (\mathbf{\tau })& =\pi \left({\mathbf{s}}_0,{\mathbf{a}}_0,\cdots ,{\mathbf{s}}_T,{\mathbf{a}}_T\right)\\ & =p\left({\mathbf{s}}_0\right)\prod _{t=0}^T{\pi }_{\theta }\left({\mathbf{a}}_t|{\mathbf{s}}_t\right)p\left({\mathbf{s}}_{t+1}|{\mathbf{s}}_t,{\mathbf{a}}_t\right)\end{array}$$

对齐求导，可以得到
$$\begin{array}{rl}{\nabla }_{\theta }log\pi (\mathbf{\tau })& ={\nabla }_{\theta }log[\prod _{t=0}^T{\pi }_{\theta }\left({\mathbf{a}}_t|{\mathbf{s}}_t\right)]\\ & ={\nabla }_{\theta }[p\left({\mathbf{s}}_0\right)+\sum _{t=0}^{T}log{\pi }_{\theta }\left({\mathbf{a}}_t|{\mathbf{s}}_t\right)+\sum _{t=0}^{T}log{\pi }_{\theta }p\left({\mathbf{s}}_{t+1}|{\mathbf{s}}_t,{\mathbf{a}}_t\right)]\\ & =\sum _{t=0}^T{\nabla }_{\theta }log{\pi }_{\theta }\left({\mathbf{a}}_t|{\mathbf{s}}_t\right)\end{array}$$

到这里公式和最大似然公式没有区别。再想一下蒙特卡罗方法，他是一种通过随机采样估计期望的方法，所以我们可以通过样本序列逼近真实的期望，样本序列就是从状态$s$和行为$a$开始不断地与环境交互得到的，
$${s_t,a_t,s_{t+1}^i,a_{t+1}^i}_{i=1}^N$$

将上式中的期望用蒙特卡罗近似的方法进行替换，可以得到求解梯度的最终形式

总结 PG方法

1. 计算 ${\nabla }_{\theta }J(\theta )$
2. 更新参数 $\theta =\theta +\alpha \ast {\nabla }_{\theta }J\theta$