【强化学习】Trust Region Policy Optization（TRPO）

Policy Gradient的缺点

根据策略梯度方法，参数更新的方法是
$${\theta }_{new}={\theta }_{old}+\alpha {\nabla }_{\theta }J$$
策略梯度算法的硬伤就在更新步长$\alpha$，当步长不合适时，更新的参数所对应的策略是一个更不好的策略，当利用这个更不好的策略进行采样学习时，再次更新的参数会更差，因此很容易导致越学越差，最后崩溃。

（对于监督性学习来说，当某次迭代前后结果相差太大时，下一次更新有可能会解决这个问题）
合适的步长是指当策略更新后，回报函数的值不能更差。为了实现这一点，一般的想法就是将新策略的回报分解为旧策略的回报加上旧策略的一些什么东西。

贝尔曼公式的等效方法

假设$\eta ({\pi }_{\theta })$表示当前策略${\pi }_{\theta }$下轨迹$\tau$的累积反馈值期望（${\pi }_{\theta }\to \pi$）：
$$\eta (\pi )=E_{\tau \sim \pi }[\sum _{t=0}^{\infty }{\gamma }^t(r(s_t))]$$
其中$\gamma$是折扣系数。则新策略$\tilde{\pi }$与旧策略$\pi$之间存在以下关系（类似于贝尔曼公式）：
$$\eta (\tilde{\pi })=\eta (\pi )+E_{\tau \sim \tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)]\text{,(1)}$$
其中$A$称为优势函数。上式可以理解为：新策略后的累积反馈期望值=旧策略累积反馈期望值+新旧策略在该轨迹上的优势差。

优势函数
（1）假设$s$是当前状态，$a_1,a_2$是接下来可能的两个动作，则值函数$V(s)$表示状态$s$下所有可能动作值函数关于动作概率的平均值。$Q(s,a_1)$是单个动作对应的值函数。
$$V_{\pi }(s)=\pi (a_1|s)Q_{\pi }(s,a_1)+\pi (a_2|s)Q(s,a_2)$$
（2）$Q_{\pi }(s,a)-V_{\pi }(s)$指的是动作值函数相比于当前状态的值函数的优势，如果它大于0，这说明它比平均动作要好。
$$A(s,a_1)=Q_{\pi }(s,a_1)-V_{\pi }(s)$$
上述（1）可以进一步转换为：
$$\begin{array}{rl}\eta (\tilde{\pi })& =\eta (\pi )+\sum _{t=0}^{\infty }\sum _{s}P(s_t=s)\sum _a\tilde{\pi }(a|s){\gamma }^t{A}_{\pi }(s,a)\\ & \\ & \\ & =\eta (\pi )+\sum _s{\rho }_{\tilde{\pi }}(s)\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)\text{,(2)}\end{array}$$
其中

即
$${\rho }_{\tilde{\pi }}(s)=\sum _{t=0}^{\infty }{\gamma }^{t}P(s_t=s)$$

四个技巧

基于式子（2），有以下四个技巧来解决问题
技巧（1）：使用旧策略的状态分布近似代替新策略的状态分布。
$${\rho }_{\tilde{\pi }}(s)\approx {\rho }_{\pi }(s)$$
技巧（2）：重要性采样方法，对动作分布进行处理。
$$\sum _a\tilde{\pi }(a|s)A_{\pi }(s,a)=E_{a\sim \pi }[\frac{\tilde{\pi }(a|s)}{\pi (a|s)}{A}_{\pi }(s,a)]$$
结合（1），（2）两个技巧，可以得到$\eta (\pi )$的替代目标函数$J(\pi )$
$$J(\tilde{\pi })=\eta (\pi )+E_{s\sim \rho ,a\sim \pi }[\frac{\tilde{\pi }(a|s)}{\pi (a|s)}{A}_{\pi }(s,a)]\text{,(3)}$$

式子（2）和（3）的不同之处在于状态概率的不同，所以$J(\tilde{\pi })$和$\eta (\tilde{\pi })$为一阶相似
$$\{\begin{array}{l}J(\pi )=\eta (\pi )\\ {\nabla }_{\theta }J(\pi ){|}_{\theta ={\theta }_{old}}={\nabla }_{\theta }\eta (\pi ){|}_{\theta ={\theta }_{old}}\end{array}$$
通过一阶近似等条件，可以确定凸函数$\eta (\tilde{\pi })$的下界

即：

$$\eta (\tilde{\pi })\ge J(\tilde{\pi })-C\cdot D_{KL}^{max}(\pi ,\tilde{\pi })\text{,}C=\frac{2ϵ\gamma }{(1-\gamma {)}^2}$$
其中，$D_{KL}(\pi ,\tilde{\pi })$表示两个分布的KL散度。其次，可以利用这个下界证明策略的单调性（证明略）。
技巧（3）利用平均KL散度代替最大KL散度
技巧（4）使用$\pi$代替$\rho$
通过（3），（4）得到最终的优化目标函数与条件
$$\begin{array}{r}ma{x}_{\theta }{E}_{s\sim \pi ,a\sim \pi }[\frac{\tilde{\pi }(a|s)}{\pi (a|s)}{A}_{\pi }(s,a)]\\ \\ \text{subject to }{E}_{s\sim \pi }[D_{KL}(\pi (\cdot |s),\tilde{\pi }(\cdot |s))]\le \delta \end{array}$$

TRPO伪代码