强化学习之TRPO

视频链接：https://www.youtube.com/watch?v=fcSYiyvPjm4&list=PLp0tvPwd1T7AD822A9tJ-jfQnMtSKh_Rz&index=3&ab_channel=ShusenWang

TRPO算法重复着两个步骤：

1. 近似：我们构建一个$L(\theta |{\theta }_{old})$函数，在信赖域内近似于价值函数$J(\theta )$。
2. 最大化：在信赖域内，找到一组新的参数，使得$L(\theta |{\theta }_{old})$最大化。

近似：

$$\begin{gathered} V_{\pi }(s)=\sum _a\pi (a|s;\theta )\ast Q_{\pi }(s,a) \\ =\sum _a\pi (a|s;{\theta }_{old})\frac{\pi (a|s;\theta )}{\pi (a|s;{\theta }_{old})}\ast Q_{\pi }(s,a) \\ =E_{A～\pi (a|s;{\theta }_{old})}[\frac{\pi (a|s;\theta )}{\pi (a|s;{\theta }_{old})}\ast Q_{\pi }(s,a)] \end{gathered}$$

$$\begin{gathered} J(\theta )=E_S[V_{\pi }(S)] \\ =E_{S,A}[\frac{\pi (A|S;\theta )}{\pi (A|S;{\theta }_{old})}\ast Q_{\pi }(S,A)] \end{gathered}$$

这是TRPO的最重要的公式。

在实际运用中，我们做蒙特卡洛近似，如果对于旧策略，我们收集到的数据如下：
$$s_1,a_1,r_1,s_2,a_2,r_2,...,s_n,a_n,r_n$$
公式改变如下：
$$L(\theta |{\theta }_{old})=\frac{1}{n}\sum _{i=1}^n\frac{\pi (a_i|s_i;\theta )}{\pi (a_i|s_i;{\theta }_{old})}\ast Q_{\pi }(s_i,a_i)$$
这里L就是对J的近似，但这里还无法对L做最大化，原因在于动作价值函数Q我们并不知道是什么，所以我们也要对它做近似。

对于Q是动作价值的期望，我们对它做蒙特卡洛近似，根据折扣函数，可得：
$$u_i=r_i+\gamma r_{i+1}+{\gamma }^2{r}_{i+2}...+{\gamma }^{n-i}{r}_n$$
我们可以用这种计算方式来代替Q。我们可以用这种计算方式来代替Q。这里我们也可以把Q换成A，也就是优势函数：
$$A=Q-V=\gamma V_{t+1}+R_t-V_t$$

最大化

有了上面的近似以后，我们对其在信赖域内作最大化：通过调整策略网络参数，使得新的策略网络的奖励期望越大越好。数学公式表达为：
$$\begin{gathered} {\theta }_{new}\leftarrow argma{x}_{\theta }L(\theta |{\theta }_{old}) \\ s.t.\theta \in N({\theta }_{old}) \end{gathered}$$
有很多方式表达两组参数的距离，这里介绍两种：

1. 二范数距离，即两者的欧式距离，平方和后开方：
   $$||\theta -{\theta }_{old}||<\Delta$$

2. KL散度：这不是用来衡量两组参数的，而是用来衡量网络输出的概率分布的，概率分布的区别越大，KL散度越大，区别越小越趋近于0，也叫相对熵。

   离散形式
   $$KL(P||Q)=\sum P(x)log\frac{P(x)}{Q(x)}$$
   连续形式：
   $$KL(P||Q)=\int P(x)log\frac{P(x)}{Q(x)}dx$$

那么这里的约束条件就是：
$$\frac{1}{n}\sum _{i=1}^{n}KL[\pi (.|s_i;{\theta }_{old})||\pi (.|s_i;\theta )]<\Delta$$
至此，游戏完成了一轮episode，我们进行了一次参数更新，往往更新进行很多次才能得到一个比较好的策略网络。

TRPO的优点是曲线稳定不会剧烈波动，对学习率设置不会太敏感。而且观察到更少的奖励就能达到跟策略梯度算法相同的表现。