A Closer Look at Invalid Action Masking in Policy Gradient Algorithms 论文阅读

强化学习无效动作的掩码处理

原文链接：http://arxiv.org/abs/2006.14171

简介

这篇文章证明了无效动作掩蔽可以看作是在计算动作概率分布时应用状态相关的可微函数来产生行为策略。接下来，设计了实验来比较无效动作掩饰和无效动作惩罚的性能。

无效动作惩罚：这是一种常见的方法，对无效动作给予负奖励，以便Agent学习通过不执行任何无效动作来最大化奖励。

我们的经验表明，当无效行动的空间扩大时，无效行动掩蔽的规模很大，Agent解决了我们想要的任务，而无效行动惩罚甚至难以探索第一个奖励。

然后，设计了实验来回答两个问题：

1. 一旦用掩码训练Agent，去除无效操作掩码会发生什么？
2. 当我们通过从屏蔽的动作概率分布中采样动作，但使用未屏蔽的动作概率分布来更新策略梯度时，当我们单纯地实施无效动作屏蔽时，Agent的性能如何？

背景

MDP过程【马尔科夫决策过程】
$$(S,A,P,{\rho }_0,r,\gamma ,T)$$

符号	含义
$S$	状态空间
$A$	离散动作空间
$P$	状态转移概率矩阵
${\rho }_0$	初始状态分布
$r$	奖励函数
$\gamma$	衰减因子
$T$	过程的最大长度
${\pi }_{\theta }$	策略，给定状态下的动作概率分布

优化目标就是最大化下面的式子：
$$J={\mathbb{E}}_{\tau }\left[\sum _{t=0}^{T-1}{\gamma }^t{r}_t\right]$$
$\tau$：经验数据/交互记录，$$(s_0,a_0,r_0,\dots ,s_{T-1},a_{T-1},r_{T-1})$$

也就是找到一个$\theta$，使之对应的策略梯度${\nabla }_{\theta }J$最大，也就是梯度上升，让奖励最大化！
$$\theta =\theta +{\nabla }_{\theta }J$$
以下是早期对于策略梯度的估计：
$$\begin{gathered} {\nabla }_{\theta }J={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)G_t\right] \\ {G}_t=\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k} \end{gathered}$$

推不出来了！！！啊啊啊啊啊啊啊啊，感觉论文这一块写的很奇怪，可能是我水平不够，没看明白这个论文的公式，以下是个人推导过程。

---

---

推导如下：参考强化学习(九)–Policy Gradient推导过程 - 知乎 (zhihu.com)

针对公式（2），可以将${\mathbb{E}}_{\tau }[\cdot ]$理解为对交互记录的期望，因为策略的随机性会导致采样出不同的交互记录！理论上最大化的也要是其对应的期望值！

因此可以把式子（2）换为如下形式：
$$J\left(\theta \right)={\mathbb{E}}_{\tau }\left[\sum _{t=0}^{T-1}{\gamma }^t{r}_t\right]=\sum _{\tau }P\left(\tau ;\theta \right)R\left(\tau \right)$$
$P\left(\tau ;\theta \right)$：表示交互记录$\tau$出现的概率

$R\left(\tau \right)$：表示该条交互记录的奖励，也就是${\sum }_{t=0}^{T-1}{\gamma }^t{r}_t$

对$J(\theta )$，进行求导：
$$\begin{array}{rl}& {\nabla }_{\theta }J\left(\theta \right)={\nabla }_{\theta }\sum _{\tau }P\left(\tau ;\theta \right)R\left(\tau \right)\\ & =\sum _{\tau }{\nabla }_{\theta }P\left(\tau ;\theta \right)R\left(\tau \right)\\ & =\sum _{\tau }\frac{P(\tau ;\theta )}{P(\tau ;\theta )}{\nabla }_{\theta }P\left(\tau ;\theta \right)R\left(\tau \right)\\ & =\sum _{\tau }P\left(\tau ;\theta \right)\frac{{\nabla }_{\theta }P(\tau ;\theta )}{P(\tau ;\theta )}R(\tau )\\ & =\sum _{\tau }P\left(\tau ;\theta \right){\nabla }_{\theta }\log P\left(\tau ;\theta \right)R\left(\tau \right)\end{array}$$
上述推导的最后一步的详细解释如下【$log$没有底数的时候就是$ln$】：
$$\begin{gathered} [lo{g}_{a}x{]}^{{}^{\prime }}=\frac{1}{xlna} \\ [log(u){]}^{{}^{\prime }}=\frac{1}{u}{u}^{{}^{\prime }} \\ {\nabla }_{\theta }\log P\left(\tau ;\theta \right)=\frac{{\nabla }_{\theta }P\left(\tau ;\theta \right)}{P\left(\tau ;\theta \right)} \end{gathered}$$
即现在要对${\nabla }_{\theta }J={\sum }_{\tau }P\left(\tau ;\theta \right){\nabla }_{\theta }\log P\left(\tau ;\theta \right)R\left(\tau \right)$进行下一步推导，先求解${\nabla }_{\theta }\log P\left(\tau ;\theta \right)$

设某一条交互路径的概率可以写为：
$$P\left({\tau }^{(i)};\theta \right)=\prod _{t=0}^{T-1}P\left(s_{t+1}^{(i)}|s_t^{(i)},a_t^{(i)}\right)\cdot {\pi }_{\theta }\left(a_t^{(i)}|s_t^{(i)}\right)$$
其求导如下，其中第二行到第三行是因为$P\left(s_{t+1}^{(i)}|s_t^{(i)},u_t^{(i)}\right)$中无参数$\theta$，因此可在求导过程中消掉：
$$\begin{array}{rl}& {\nabla }_{\theta }\log P\left({\tau }^{(i)};\theta \right)={\nabla }_{\theta }\log \left[\prod _{t=0}^{T-1}P\left(s_{t+1}^{(i)}|s_t^{(i)},a_t^{(i)}\right)\cdot {\pi }_{\theta }\left(a_t^{(i)}|s_t^{(i)}\right)\right]\\ & ={\nabla }_{\theta }\left[\sum _{t=0}^{T-1}\log P\left(s_{t+1}^{(i)}|s_t^{(i)},a_t^{(i)}\right)+\sum _{t=0}^T\log {\pi }_{\theta }\left(a_t^{(i)}|s_t^{(i)}\right)\right]\\ & ={\nabla }_{\theta }\left[\sum _{t=0}^{T-1}\log {\pi }_{\theta }\left(a_t^{(i)}|s_t^{(i)}\right)\right]\\ & =\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t^{(i)}|s_t^{(i)}\right)\end{array}$$

故策略梯度的式子可以写为：
$${\nabla }_{\theta }J={\mathbb{E}}_{\tau }[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t^{(i)}|s_t^{(i)}\right)\ast \sum _{t=0}^{T-1}{\gamma }^t{r}_t]$$

---

---

无效动作的掩码

假设一个MDP过程为：

状态空间 S ： { s 0 , s 1 } S：\{s_0,s_1\} S：{s0​,s1​}

动作空间 A : { a 0 , a 1 , a 2 , a 3 } A:\{a_0,a_1,a_2,a_3\} A:{a0​,a1​,a2​,a3​}

此时策略${\pi }_{\theta }$由向量$\theta$来参数化，$\theta =[l_1,l_2,l_3,l_4]$

假设初始$\theta =[1,1,1,1]$，故各个动作的采样概率${\pi }_{\theta }=[0.25,0.25,0.25,0.25]$

且无论为为什么动作，都可以让智能体从初始状态$s_0$转移到末态$s_1$，并得到1的奖励
$$\begin{array}{rl}{\pi }_{\theta }(\cdot |s_0)& =[{\pi }_{\theta }(a_0|s_0),{\pi }_{\theta }(a_1|s_0),{\pi }_{\theta }(a_2|s_0),{\pi }_{\theta }(a_3|s_0)]\\ & =\mathrm{softmax}([l_0,l_1,l_2,l_3])\\ & =[0.25,0.25,0.25,0.25]\end{array}$$
其中${\pi }_{\theta }(a_i|s_0)=\frac{\exp (l_i)}{{\sum }_j\exp (l_j)}$

根据策略梯度的推导结果，可以得知，该交互记录的策略梯度为：
$${\nabla }_{\theta }J={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)G_t\right]$$
其中交互记录只有一条，假设采样的结果是动作$a_0$，奖励大小为1

因此：
$$\begin{array}{rl}{\nabla }_{\theta }J& ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)G_t\right]\\ & ={\nabla }_{\theta }\log {\pi }_{\theta }(a_0|s_0)G_0\end{array}$$
而对于${\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$，由于是对$\theta$求导，而$\theta$是一个四维向量，因此，其求导结果为4*4矩阵，同时该矩阵的各个元素的取值为：
$$({\nabla }_{\theta }\log \text{softmax}(\theta {)}_j{)}_i=\{\begin{array}{ll}(1-\frac{\exp (l_j)}{{\sum }_j\exp (l_j)})& \text{if }i=j\\ \frac{-\exp (l_j)}{{\sum }_j\exp (l_j)}& \text{otherwise}\end{array}$$
故最终的策略梯度求解结果为${\nabla }_{\theta }J=[0.75,-0.25,-0.25,-0.25]$

而此时假设动作$a_2$不能被采样，是一个无效动作，因此可以用一个大负数替换要屏蔽的操作的logits来实现！
$$\begin{array}{rl}{\pi }_{\theta }^{\prime }(\cdot |s_0)& =\mathrm{softmax}(mask([l_0,l_1,l_2,l_3]))\\ & =\mathrm{softmax}([l_0,l_1,M,l_3])\\ & =[{\pi }_{\theta }^{\prime }(a_0|s_0),{\pi }_{\theta }^{\prime }(a_1|s_0),ϵ,{\pi }_{\theta }^{\prime }(a_3|s_0)]\\ & =[0.33,0.33,0.0000,0.33]\end{array}$$
故最后的策略梯度计算结果为：
$$\begin{array}{rl}{\nabla }_{\theta }J& ={\mathbb{E}}_{\tau }\left[{\nabla }_{\theta }\sum _{t=0}^{T-1}\log {\pi }_{\theta }^{\prime }(a_t|s_t)G_t\right]\\ & ={\nabla }_{\theta }\log {\pi }_{\theta }^{\prime }(a_0|s_0)G_0\\ & =[0.67,-0.33,0.0000,-0.33]\end{array}$$
上述例子可以有效说明，无效动作的掩码似乎不仅仅是“重新规范概率分布”，还可以使无效动作的logits相对应的梯度为零！

无效动作的掩码会生成有效的策略梯度

动作选择过程受到一个在${\pi }_{\theta }$之外的过程所影响，该过程用来计算掩码。因此，人们自然会想知道政策梯度定理是针对该情况要如何应用？

分析表明，无效动作的掩码过程可以看作是一个状态相关的可微函数，适用于${\pi }_{\theta }^{\prime }$的计算，因此无效动作策略可以看作是${\pi }_{\theta }^{\prime }$的策略梯度更新。

---

证明：假设s∈S是任意的，并将无效动作掩蔽的过程视为一个可微函数$in{v}_s$ ，该函数被应用于由策略${\pi }_{\theta }^{\prime }$给定状态输出的Logits $l_s$ 。那么就有：
$$\begin{array}{rl}{\pi }_{\theta }^{\prime }(\cdot |s)& =\text{softmax}(mask(l(s)))\\ mask(l(s){)}_i& =\{\begin{array}{rlrl}& l_i& & \text{if }{a}_i\text{ is valid in }s\\ & M& & \text{otherwise}\end{array}\end{array}$$
显然，掩码对于logits中的元素来说要么是一个恒等函数，要么是常数函数。

【恒等函数即：输出=输入】

因为这两类函数是可微的，所以可导。因此，${\pi }_{\theta }^{\prime }$对于参数$\theta$是可微的，也就是说$\begin{array}{r}\frac{\partial {\pi }_{\theta }^{\prime }(a|s)}{\partial \theta }\end{array}$对于所有的$a\in A,s\in S$，都满足策略梯度定理的假设！因此，无效操作策略是策略${\pi }_{\theta }^{\prime }$的策略梯度。

需要注意的是，掩码过程不是分段线性函数。如果绘制掩码过程，它要么是一个单位函数【恒等函数】，要么是常数函数，取决于状态$s$，从-∞到+∞。因此，我们称掩码为状态相关的可微函数。

没有对后续实验部分进行记录

                                            自行去阅读原文吧！

---

---

引用阅读

https://zhuanlan.zhihu.com/p/445681092
hhttp://arxiv.org/abs/2006.14171
https://zhuanlan.zhihu.com/p/57285213