策略梯度方法介绍——蒙特卡洛策略梯度方法(REINFORCE)

目录

上一节介绍了$\nabla \mathcal{J}(\theta )$的求解过程的推导，本节将基于上述推导进行补充，构建更加泛化的表达式，从而引出REINFORCE算法的更新方程。

回顾：$\nabla \mathcal{J}(\theta )$梯度求解结果

上一节介绍关于$\nabla \mathcal{J}(\theta )$梯度方向的求解结果如下：
$$\begin{array}{rl}\nabla \mathcal{J}(\theta )& =\nabla V_{\pi }(s_0)\\ & \propto \sum _{s\in \mathcal{S}}\mu (s)\sum _{a\in \mathcal{A}(s)}\nabla \pi (a\mid s)q_{\pi }(s,a)\end{array}$$
其中$s_0$表示情节的初始状态，$\mu (s)$表示某状态$s$在情节中出现的概率：
$$\mu (s)=\frac{\eta (s)}{{\sum }_{s^{\prime }}\eta (s^{\prime })}$$
$\eta (s)$表示某状态$s$在情节中出现的平均次数。

策略梯度定理的延伸

观察$\nabla \mathcal{J}(\theta )$梯度方向的求解结果：
$$\nabla \mathcal{J}(\theta )\propto \sum _{s\in \mathcal{S}}\mu (s)\sum _{a\in \mathcal{A}(s)}\nabla \pi (a\mid s)q_{\pi }(s,a)$$
发现$\mu (s)$本身是状态$s$的出现概率 $\to$ 可以将${\sum }_{s\in \mathcal{S}}\mu (s)$表示为表示为期望形式：
$$\sum _{s\in \mathcal{S}}\mu (s)\sum _{a\in \mathcal{A}(s)}\nabla \pi (a\mid s)q_{\pi }(s,a)={\mathbb{E}}_{?}\left[\sum _{a\in \mathcal{A}(s)}\nabla \pi (a\mid s)q_{\pi }(s,a)\right]$$
问题：期望符号中的概率分布 是谁(上式中“?”部分)；
既然是关于状态的概率分布，我们定义这样一个分布符号：${\rho }^{{\pi }_{\theta }}$，使得状态$s$的出现概率服从该分布。
需要注意的点：该分布不仅和策略函数$\pi (a\mid s;\theta )$相关，因为‘状态转移过程’是系统内部的变化，因此这个出现概率的分布还与‘环境’相关。
$$\forall s\in \mathcal{S}\to s\sim {\rho }^{{\pi }_{\theta }}(s)=\underset{t\to \infty }{\lim }P(S_t=s\mid A_{0:t}\sim \pi )$$
上述式子整理如下：
$${\mathbb{E}}_{s\sim {\rho }^{{\pi }_{\theta }}}\left[\sum _{a\in \mathcal{A}(s)}\nabla \pi (a\mid s)q_{\pi }(s,a)\right]$$
为了使公式规范化：

• 我们将所有的状态$s$，动作$a$替换为$t$时刻的状态$S_t$,状态$S_t$条件下的动作$A_t$；
• 上述公式中的$\pi (a\mid s)$是策略函数，因此替换为$\pi (a\mid s;\theta )$；

替换结果如下：
$${\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }}}\left[\sum _{A_t\in \mathcal{A}(S_t)}\nabla \pi (A_t\mid S_t;\theta )q_{\pi }(S_t,A_t)\right]$$

继续观察：上式中存在一个${\sum }_{A_t\in \mathcal{A}(S_t)}$，因此存在一个想法是 将该部分也化成期望形式。但$\nabla \pi (A_t\mid S_t;\theta )$本身并不是策略函数，因此，我们需要引入一个策略函数$\pi (A_t\mid S_t;\theta )$。具体过程如下：
$$\begin{array}{rl}& {\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }}}\left[\sum _{A_t\in \mathcal{A}(S_t)}\nabla \pi (A_t\mid S_t;\theta )q_{\pi }(S_t,A_t)\right]\\ & ={\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }}}\left[\sum _{A_t\in \mathcal{A}(S_t)}\pi (A_t\mid S_t;\theta )\frac{\nabla \pi (A_t\mid S_t;\theta )}{\pi (A_t\mid S_t;\theta )}{q}_{\pi }(S_t,A_t)\right]\end{array}$$
此时，可以将${\sum }_{A_t\in \mathcal{A}(S_t)}\pi (A_t\mid S_t;\theta )$写成期望形式，并记策略函数符号为${\pi }_{\theta }$：
注意：状态-动作价值函数服从的也是${\pi }_{\theta }$,因此同步修改为$q_{{\pi }_{\theta }}(S_t,A_t)$。
$$\begin{array}{rl}& ={\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }}}\left[{\mathbb{E}}_{A_t\sim {\pi }_{\theta }}\left[\frac{\nabla \pi (A_t\mid S_t;\theta )}{\pi (A_t\mid S_t;\theta )}{q}_{{\pi }_{\theta }}(S_t,A_t)\right]\right]\\ & ={\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }};A_t\sim {\pi }_{\theta }}\left[\frac{\nabla \pi (A_t\mid S_t;\theta )}{\pi (A_t\mid S_t;\theta )}{q}_{{\pi }_{\theta }}(S_t,A_t)\right]\end{array}$$

继续观察期望中的第一项式子，可以将其 看成$\log$函数 的梯度结果。即：
这里的log函数如果没有声明，默认的底数均为‘自然对数’e
$$\frac{\nabla \pi (A_t\mid S_t;\theta )}{\pi (A_t\mid S_t;\theta )}=\nabla \log \pi (A_t\mid S_t;\theta )$$

至此，最终将策略梯度定理表示为如下形式：
$$\nabla \mathcal{J}(\theta )={\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }};A_t\sim {\pi }_{\theta }}\left[\nabla \log \pi (A_t\mid S_t;\theta )q_{{\pi }_{\theta }}(S_t,A_t)\right]$$

蒙特卡洛策略梯度方法(REINFORCE)简单理解

之所以将$\nabla \mathcal{J}(\theta )$化简为期望形式，是因为期望形式就可以通过 蒙特卡洛方法 采样的方式来近似求解$\nabla \mathcal{J}(\theta )$。

观察策略梯度定理：
$$\nabla \mathcal{J}(\theta )={\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }};A_t\sim {\pi }_{\theta }}\left[\nabla \log \pi (A_t\mid S_t;\theta )q_{{\pi }_{\theta }}(S_t,A_t)\right]$$
本质上，$q_{{\pi }_{\theta }}(S_t,A_t)$表示 在${\pi }_{\theta }$条件下，给定$S_t,A_t$后回报(Return)$G_t$的期望。即：
$$q_{{\pi }_{\theta }}(S_t,A_t)={\mathbb{E}}_{A_t\sim {\pi }_{\theta }}[G_t\mid S_t,A_t]$$
因此，策略梯度定理表示如下：
${\mathbb{E}}_{A_t\sim {\pi }_{\theta }}[G_t\mid S_t,A_t]$中的分布和前面重复，消掉了，只留一个~
$$\begin{array}{rl}\nabla \mathcal{J}(\theta )& ={\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }};A_t\sim {\pi }_{\theta }}\left[\nabla \log \pi (A_t\mid S_t;\theta ){\mathbb{E}}_{A_t\sim {\pi }_{\theta }}[G_t\mid S_t,A_t]\right]\\ & ={\mathbb{E}}_{S_t\sim {\rho }^{{\pi }_{\theta }};A_t\sim {\pi }_{\theta }}\left[\nabla \log \pi (A_t\mid S_t;\theta )G_t\right]\end{array}$$

至此，我们可以通过采样$\nabla \log \pi (A_t\mid S_t;\theta )G_t$对策略函数的参数$\theta$进行 增量更新：
$${\theta }_{t+1}={\theta }_t+\alpha \nabla \log \pi (A_t\mid S_t;\theta )G_t$$

用于估计最优策略的REINFORCE算法表示如下：

	REINFORCE算法(用于估计最优策略)
输入 (Input)	可微策略函数$\pi (a\mid s;\theta )$,衰减因子$\gamma$,学习率$\alpha$
初始化操作 (Initialization operation)	初始化策略函数的参数$\theta$；
算法过程 (Algorithmic Process)	1. repeat 对每一个情节：$k=0,1,2,...$ 2. 根据策略函数$\pi (a\mid s;\theta )$，生成一组情节： $S_0,A_0,R_1,S_1,A_1,\cdots ,S_{T-1},A_{T-1},S_T,R_T$ 3. G $\leftarrow$ 0 (后向前遍历) 4.   repeat  $t=T-1,T-2,\cdots 0$ 5.       $G\leftarrow \gamma G+R_{t+1}$ 6.       $\theta \leftarrow \theta +\alpha {\gamma }^t\nabla \ln \pi (A_t\mid S_t;\theta )G$

$\theta$在迭代过程中，通过学习率$\alpha$配合衰减因子$\gamma$,随着迭代次数的增加，逐渐减小参数更新幅度(即步长(step))。从而找到最优参数。

下一节将介绍蒙特卡洛梯度方法(REINFORCE)的其他变形方式。

相关参考：
【强化学习】策略梯度方法-REINFORCE
深度强化学习原理、算法pytorch实战 —— 刘全，黄志刚编著