强化学习保守策略迭代Conservative policy iteration推导

前言

最近在学习TRPO，但是本人发现TRPO用了好多好多好多前人的论文结论，包括策略梯度定理 (Policy gradient theorem, PGT)，自然策略梯度 (Natural policy gradient, NPG)和保守策略迭代 (Conservative policy iteration, CPI)。

因此，本人最近更新的博客数量剧增。。。PGT 和 NPG 可以参考我的另外两个博客
PGT.
NPG.

CPI 的主要贡献在于它提出了一种混合策略更新的方法，并且给出了使用这种方法更新策略可以使值函数单调增加的证明。可以设想一下，如果值函数单调不减，那么理论上是可以说明得到的策略是越来越好的。

实际上，CPI 算法并不会被简单粗暴地应用在程序中，因为结论中提到的变量都是未知的，都是很难确定的，所以CPI 算法更多地是提供一种解决一类RL问题的思路。然后，十几年之后，TRPO的提出就是这个思路被成功应用的很典型的一个案例。

Greedy policy

贪婪策略是十分常见的一种策略更新方式，每一回合计算出优势函数$A^{{\pi }_{old}}(s,a)$，然后反向找到使这个$A^{{\pi }_{old}}(s,a)$最大的策略$\pi$作为${\pi }_{new}$，简单粗暴。(有的时候也会用$Q^{{\pi }_{old}}(s,a)$，本质上一样)，即：
$$\begin{array}{r}\begin{array}{r}{\pi }_{new}=\arg \underset{\pi \in \Pi }{\max }{\mathbb{E}}_{s\sim d_{\mu }^{\pi }}\left[A^{\pi }(s,a)\right]\end{array}\end{array}$$

但是这就存在一个问题，如果两次的改进比较大，那么很有可能会导致由${\pi }_{old}$和${\pi }_{new}$所诱导出的轨迹存在较大差别。考虑到此时值函数并没有收敛 (甚至刚开始学习)，那么就会导致策略在一定范围内“反复横跳” (哎，就是玩，你说啥都没用，我就不收敛，你能咋的…>_<)。这也是混合策略提出的初衷。

Conservative Policy Iteration

CPI将策略的更新变成旧策略和临时策略的加权平均，即
$$\begin{array}{r}\{\begin{array}{rl}& {\pi }^{\prime }=\arg \underset{\pi \in \Pi }{\max }{\mathbb{E}}_{s\sim d_{\mu }^{{\pi }_{old}}}\left[A^{\pi }(s,a)\right]\\ & {\pi }_{new}=(1-\alpha )\pi +\alpha {\pi }^{\prime }\end{array}\end{array}$$
这个式子给出来挺容易，其实到这里就已经结束了，问题是，如何说明它确实“有所提高”。这里给出三个引理

Lemma 1 (Performance difference lemma)

对于两个策略$\pi$和${\pi }^{\prime }$，以及他们所诱导出的状态的分布$d_{\mu }^{\pi }$和$d_{\mu }^{{\pi }^{\prime }}$，有
$$\begin{array}{r}\{\begin{array}{rl}& V^{{\pi }^{\prime }}(s_0)-V^{\pi }(s_0)=\frac{1}{1-\gamma }{\mathbb{E}}_{s\sim d_{\mu }^{{\pi }^{\prime }}}\left[A^{\pi }(s,{\pi }^{\prime }(s))\right]\\ & V^{\pi }(s_0)-V^{{\pi }^{\prime }}(s_0)=\frac{1}{1-\gamma }{\mathbb{E}}_{s\sim d_{\mu }^{\pi }}\left[A^{{\pi }^{\prime }}(s,\pi (s))\right]\end{array}\end{array}$$
成立，其中$\mu$为状态的初始分布，$A$是优势函数。

Proof $V^{\pi }(s_0)-V^{{\pi }^{\prime }}(s_0)=\frac{1}{1-\gamma }{\mathbb{E}}_{s\sim d_{\mu }^{\pi }}\left[A^{{\pi }^{\prime }}(s,\pi (s))\right]$

$$\begin{array}{r}\begin{array}{rl}{V}^{\pi }(s_0)-V^{{\pi }^{\prime }}(s_0)& =V^{\pi }(s_0)-{\mathbb{E}}_{a_0\sim \pi }\left[r_{s_0}^{a_0}+\gamma {\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}{V}^{{\pi }^{\prime }}(s_1)\right]+{\mathbb{E}}_{a_0\sim \pi }\left[r_{s_0}^{a_0}+\gamma {\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}{V}^{{\pi }^{\prime }}(s_1)\right]-V^{{\pi }^{\prime }}(s_0)\\ & ={\mathbb{E}}_{a_0\sim \pi }\left[r_{s_0}^{a_0}+\gamma {\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}\left[V^{\pi }(s_1)\right]\right]-{\mathbb{E}}_{a_0\sim \pi }\left[r_{s_0}^{a_0}+\gamma {\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}\left[V^{{\pi }^{\prime }}(s_1)\right]\right]\\ & +{\mathbb{E}}_{a_0\sim \pi }\left[r_{s_0}^{a_0}+\gamma {\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}\left[V^{{\pi }^{\prime }}(s_1)\right]\right]-V^{{\pi }^{\prime }}(s_0)\\ & =\gamma {\mathbb{E}}_{a_0\sim \pi }{\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}\left[V^{\pi }(s_1)-V^{{\pi }^{\prime }}(s_1)\right]+{\mathbb{E}}_{a_0\sim \pi }\left[r_{s_0}^{a_0}+\gamma {\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}\left[V^{{\pi }^{\prime }}(s_1)\right]\right]-V^{{\pi }^{\prime }}(s_0)\\ & =\gamma {\mathbb{E}}_{a_0\sim \pi }{\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}\left[V^{\pi }(s_1)-V^{{\pi }^{\prime }}(s_1)\right]+{\mathbb{E}}_{a_0\sim \pi }\left[Q^{{\pi }^{\prime }}(s_0,a_0)-V^{{\pi }^{\prime }}(s_0)\right]\\ & =\gamma {\mathbb{E}}_{a_0\sim \pi }{\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}\left[V^{\pi }(s_1)-V^{{\pi }^{\prime }}(s_1)\right]+{\mathbb{E}}_{a_0\sim \pi }{A}^{{\pi }^{\prime }}(s_0,a_0)\end{array}\end{array}$$
红色部分中括号里面的部分的形式与最初的等式形式相同。因此，继续推导红色部分
$$\begin{array}{r}\begin{array}{rl}\gamma {\mathbb{E}}_{a_0\sim \pi }{\mathbb{E}}_{s_1\sim P_{s_0}^{a_0}}\left[V^{\pi }(s_1)-V^{{\pi }^{\prime }}(s_1)\right]& =\gamma {\mathbb{E}}_{s_1\sim P_1^{\pi }(\cdot |s_0)}\left[V^{\pi }(s_1)-V^{{\pi }^{\prime }}(s_1)\right]\\ & =\gamma {\mathbb{E}}_{s_1\sim P_1^{\pi }(\cdot |s_0)}\left[\gamma {\mathbb{E}}_{a_1\sim \pi }{\mathbb{E}}_{s_2\sim P_{s_2}^{a_2}}\left[V^{\pi }(s_2)-V^{{\pi }^{\prime }}(s_2)\right]\right]\\ & ={\gamma }^2{\mathbb{E}}_{s_2\sim P_2^{\pi }(\cdot |s_0)}\left[V^{\pi }(s_2)-V^{{\pi }^{\prime }}(s_2)\right]+\gamma {\mathbb{E}}_{a_1\sim \pi }{A}^{{\pi }^{\prime }}(s_1,a_1)\end{array}\end{array}$$
由此类推，推导至无穷项，可以得出
$$\begin{array}{r}\begin{array}{rl}{V}^{\pi }(s_0)-V^{{\pi }^{\prime }}(s_0)& =\sum _{t=0}^{\infty }{\gamma }^t{\mathbb{E}}_{s,a\sim \pi }{A}^{{\pi }^{\prime }}(s,a)\\ & =\frac{1}{1-\gamma }{\mathbb{E}}_{s\sim d_{\mu }^{\pi }}\left[A^{{\pi }^{\prime }}(s,\pi (s))\right]\end{array}\end{array}$$
第二个的证明与第一个完全一样。整体的表达式是对称的，只需要把${\pi }^{\prime }$和$\pi$互换就好。

Lemma 2 还有另外一种表达形式 (这个就是恶心的地方，论文里都说显然，然后不同的资料用的符号和定义都不一样，或者实际上一样，但是看起来不一样>_<)

Lemma 1的另一种表达形式

$$\begin{array}{r}\{\begin{array}{rl}& V^{{\pi }^{\prime }}(s_0)-V^{\pi }(s_0)=\sum _s{d}^{{\pi }^{\prime }}(s)\sum _a{\pi }^{\prime }(s,a)A^{\pi }(s,a)\\ & V^{\pi }(s_0)-V^{{\pi }^{\prime }}(s_0)=\sum _s{d}^{\pi }(s)\sum _a\pi (s,a)A^{{\pi }^{\prime }}(s,a)\end{array}\end{array}$$

Lemma2

对于混合策略更新，有
$$\begin{array}{r}\begin{array}{r}{V}^{{\pi }_{new}}-V^{\pi }\ge \alpha A_{\pi }({\pi }^{\prime })-\frac{2{\alpha }^2\gamma ϵ}{1-\gamma (1-\alpha )}\end{array}\end{array}$$
成立。其中
$$\begin{gathered} A_{\pi }({\pi }^{\prime })\equiv \sum _s{d}^{\pi }(s)\sum _a{\pi }^{\prime }(s,a)A^{\pi }(s,a) \\ ϵ\equiv \frac{1}{1-\gamma }\left[\underset{s}{\max }\sum _a{\pi }^{\prime }(s,a)A^{\pi }(s,a)\right] \end{gathered}$$

Proof
在这里，可以将${\pi }_{new}$看做$\alpha$的函数。当$\alpha =0$时，${\pi }_{new}=\pi$；当$\alpha =1$时，${\pi }_{new}={\pi }^{\prime }$。我们计算${\pi }_{new}$对$\alpha$的导数在$\alpha =0$时的数值
$$\begin{array}{r}\begin{array}{rl}{\nabla }_{\alpha }{V}^{{\pi }_{new}}{|}_{\alpha =0}& ={\sum _s{d}^{{\pi }_{new}}(s)\sum _a{\nabla }_{\alpha }{\pi }_{new}{A}^{{\pi }_{new}}(s,a)|}_{\alpha =0}\\ & ={\sum _s{d}^{{\pi }_{new}}(s)\sum _a\left({\pi }^{\prime }-\pi \right)A^{{\pi }_{new}}(s,a)|}_{\alpha =0}\\ & =\sum _s{d}^{\pi }(s)\sum _a\left({\pi }^{\prime }-\pi \right)A^{\pi }(s,a)\\ & =\sum _s{d}^{\pi }(s)\sum _a{\pi }^{\prime }{A}^{\pi }(s,a)-\sum _s{d}^{\pi }(s)\sum _a\pi A^{\pi }(s,a)\\ & =\sum _s{d}^{\pi }(s)\sum _a{\pi }^{\prime }{A}^{\pi }(s,a)\\ & =A_{\pi }({\pi }^{\prime })\end{array}\end{array}$$
同理，$A_{\pi }({\pi }_{new})=\alpha A_{\pi }({\pi }^{\prime })$。将$V^{{\pi }_{new}}$在${\pi }_{new}=\pi$处Taylor展开，得到
$$\begin{array}{r}\begin{array}{rl}{V}^{{\pi }_{new}}-V^{\pi }& =V^{\pi }+\alpha {\nabla }_{\alpha }{V}^{{\pi }_{new}}{|}_{\alpha =0}-V^{\pi }\\ & \ge \alpha A_{\pi }({\pi }_{new})-O({\alpha }^2)\end{array}\end{array}$$
这里只说明了值函数的增益大于一个下确界，但是并没有得到目标的形式。继续推导，根据Lemma 1可知
$$\begin{array}{r}\begin{array}{rl}{V}^{{\pi }_{new}}-V^{\pi }& =\sum _s{d}^{{\pi }_{new}}(s)\sum _a{\pi }_{new}(s,a)A^{\pi }(s,a)\end{array}\end{array}$$
这里定义一个变量${\eta }_t$，含义为截止到第$t$个时刻时，策略${\pi }_{new}$中没有采用$\pi$的步数，则有：
$$\begin{array}{r}\begin{array}{r}P{r}_{\tau \sim {\pi }_{new}}(S_t=s|{\eta }_t=0)=P{r}_{\tau \sim \pi }(S_t=s)=(1-\alpha {)}^t\end{array}\end{array}$$
有的推导中写$t-1$次方，这都无所谓的，最后是无穷项等比数列相加，不差这一个数。进而有
$$\begin{array}{r}\begin{array}{r}{p}_t\equiv Pr({\eta }_t>0)=1-(1-\alpha {)}^t\end{array}\end{array}$$
进而有 (开始了)
$$\begin{array}{r}\begin{array}{rl}{V}^{{\pi }_{new}}-V^{\pi }& =\sum _s{d}^{{\pi }_{new}}(s)\sum _a{\pi }_{new}(s,a)A^{\pi }(s,a)\\ & ={\mathbb{E}}_{\tau \sim {\pi }_{new}}\left[\sum _t{\gamma }^t\sum _a\alpha {\pi }^{\prime }(s_t,a)A^{\pi }(s_t,a)\right]\\ & =\alpha \sum _t(1-p_t){\gamma }^t{\mathbb{E}}_{\tau \sim {\pi }_{new}}\left[\sum _a\alpha {\pi }^{\prime }(s_t,a)A^{\pi }(s_t,a)|\eta =0\right]\\ & +\alpha \sum _t{p}_t{\gamma }^t{\mathbb{E}}_{\tau \sim {\pi }_{new}}\left[\sum _a\alpha {\pi }^{\prime }(s_t,a)A^{\pi }(s_t,a)|\eta >0\right]\\ & =\alpha \sum _t(1-p_t){\gamma }^t{\mathbb{E}}_{\tau \sim \pi }\left[\sum _a\alpha {\pi }^{\prime }(s_t,a)A^{\pi }(s_t,a)\right]\\ & +\alpha \sum _t{p}_t{\gamma }^t{\mathbb{E}}_{\tau \sim {\pi }_{new}}\left[\sum _a\alpha {\pi }^{\prime }(s_t,a)A^{\pi }(s_t,a)|\eta >0\right]\\ & =\alpha A_{\pi }({\pi }^{\prime })-\alpha \sum _t{p}_t{\gamma }^t{\mathbb{E}}_{\tau \sim \pi }\left[\sum _a\alpha {\pi }^{\prime }(s_t,a)A^{\pi }(s_t,a)\right]\\ & +\alpha \sum _t{p}_t{\gamma }^t{\mathbb{E}}_{\tau \sim {\pi }_{new}}\left[\sum _a\alpha {\pi }^{\prime }(s_t,a)A^{\pi }(s_t,a)|\eta >0\right]\\ & \ge \alpha A_{\pi }({\pi }^{\prime })-2\alpha \sum _t{\gamma }^t\left[1-(1-\alpha {)}^t\right]\left[\underset{s}{\max }\sum _a{\pi }^{\prime }(s,a)A^{\pi }(s,a)\right]\\ & =\alpha A_{\pi }({\pi }^{\prime })-\frac{2{\alpha }^2\gamma ϵ}{1-\gamma (1-\alpha )}\end{array}\end{array}$$
Proof completes.

单调改进

在得到Lemma 2之后，很容易得出
$$\begin{array}{r}\begin{array}{r}{V}^{{\pi }_{new}}-V^{\pi }\ge \alpha A_{\pi }({\pi }^{\prime })-\frac{2{\alpha }^2\gamma ϵ}{1-\gamma }\end{array}\end{array}$$
令$R$是奖励的上界 (大于零)，则有
$$\begin{array}{r}\{\begin{array}{rl}& A_{\pi }({\pi }^{\prime })=\sum _s{d}^{\pi }(s)\sum _a{\pi }^{\prime }(s,a)A^{\pi }(s,a)\le \frac{R}{1-\gamma }\\ & ϵ=\frac{1}{1-\gamma }\left[\underset{s}{\max }\sum _a{\pi }^{\prime }(s,a)A^{\pi }(s,a)\right]\le \frac{R}{1-\gamma }\end{array}\end{array}$$
这时，若选取$\alpha =\frac{A_{\pi }({\pi }^{\prime })(1-\gamma {)}^2}{4R}$，则有
$$\begin{array}{r}\begin{array}{rl}{V}^{{\pi }_{new}}-V^{\pi }& \ge \alpha A_{\pi }({\pi }^{\prime })-\frac{2{\alpha }^2\gamma ϵ}{1-\gamma }\\ & =\frac{A_{\pi }^2({\pi }^{\prime })(1-\gamma {)}^2}{4R}-\frac{2{\alpha }^2\gamma ϵ}{1-\gamma }\\ & \ge \frac{A_{\pi }^2({\pi }^{\prime })(1-\gamma {)}^2}{4R}-\frac{2{\alpha }^2\gamma R}{(1-\gamma {)}^2}\\ & =\frac{A_{\pi }({\pi }^{\prime })(1-\gamma {)}^2}{8R}>0\end{array}\end{array}$$
如此，就保证了策略改进的单调提升，论文原文的后边还有很多推导，关于算法细节的，没太看懂，不往这放了。实际应用中，很多不会直接使用这个CPI技术，而是借用这个思路去设计。

OK，CPI理论推导到此结束了。