强化学习进阶【逆强化学习】

  最早的模仿学习是行为克隆，行为克隆的方法只能模仿轨迹，无法进行泛化。而逆向强化学习是从专家示例中学到背后的回报函数，能泛化到其他情况，因此属于模仿到了精髓。

  IRL的提出动机主要有以下两点：

1. 多任务学习：蜜蜂是如何权衡飞行距离、时间、捕食动物威胁等多个任务下找到一个最优的飞行路径的？IRL针对的也是序列决策问题，并非是单步决策问题。
2. 学回报函数：难以量化回报函数的领域。
   

  很多时候我们拿不到最优策略，但是获取最优策略的采样数据却是非常容易的。因此逆强化学习的流程如下所示：

1. 智能体随机产生一个策略。
2. 智能体的策略采样得到的数据与专家数据采样得到的数据对比，学习奖励函数。
3. 利用所学的奖励函数进行强化学习，提高自身策略水平。
4. 策略差距较小则停止迭代，否者回到第二步。

• 其在机器人领域的应用、较全面的理论知识，可参考以下资料链接：Robot learning by demonstration

有限状态下的求解

  以下推导过程主要来自：Algorithms for Inverse Reinforcement Learning。

  假定最优策略为${\pi }^{\ast }$，其它策略为$\pi$，有：

$$\begin{array}{l}{V}_{{\pi }^{\ast }}(s)⩾V_{\pi }(s)\\ q_{{\pi }^{\ast }}(s,a)⩾q_{\pi }(s,a)\end{array}$$

  依据Bellman Equation有：

$$V^{\pi }=R+\gamma P_{s^{\prime }|(s,{\pi }^{\ast }(s))}{V}^{\pi }$$

  因此有：

$$V^{\pi }=(I-\gamma P_{s^{\prime }|(s,{\pi }^{\ast }(s))}{)}^{-1}R$$

  这里我们想要求出奖励$R$的函数方程，因此期望消去$V^{\pi }$由：

$$P_{s^{\prime }|(s,{\pi }^{\ast }(s))}{V}^{\pi }\ge P_{s^{\prime }|(s,\pi (s))}{V}^{\pi }$$

  可以消去$V^{\pi }$得到：

$$(P_{s^{\prime }|(s,{\pi }^{\ast }(s))}-P_{s^{\prime }|(s,\pi (s))})(I-\gamma P_{s^{\prime }|(s,{\pi }^{\ast }(s))}{)}^{-1}R\ge 0$$

  如果假定专家数据为最优策略下的采样数据，则求取的奖励函数期望能够使得上述公式越大越好，上述推导则变成了一个线性规划问题：

$$\begin{array}{l}\max \left(P_{\mathbf{s},{\pi }^{\ast }(\mathbf{s})}-{\mathbf{P}}_{\mathbf{s},\mathbf{a}}\right)\left(\mathbf{I}-\gamma {\mathbf{P}}_{{\pi }^{\ast }}\right)\mathbf{R}\\ \text{ s.t. }\left(P_{\mathbf{s},{\pi }^{\ast }(\mathbf{s})}-{\mathbf{P}}_{\mathbf{s},\mathbf{a}}\right)\left(\mathbf{I}-\gamma {\mathbf{P}}_{{\pi }^{\ast }}\right)\mathbf{R}⩾0\end{array}$$

  上述线性规划问题的约束比较弱，回报函数可以成比例地扩大或者缩小同样能够满足约束，并且回报函数取0时也能满足约束，但这种情况实际上是没有意义的。因此考虑增加约束：

1. 限制回报的范围：$|R|\le R_{max}$。并且Ng认为在其它所有情况都相同的时候，回报函数的取值越小越“简单”也就越可取，可以选择在优化的目标函数上加上一个惩罚项$-\lambda ||R|{|}_1$，类似L1、L2正则化，都是为了防止参数过大。(这里引入了另一个问题，$\lambda$参数的取值问题。)
2. 只考虑最优策略和次优策略的差异：之前考虑的是最优策略优于其它所有策略，也就是以相同的权重考虑最优策略和其它策略之间的差距，但是最优策略和次优策略之间的差距会显得更加重要。

  引入这两个约束之后，原问题的规划变为：

$$\begin{array}{l}{\max }_{\mathbf{R}}\left[{\min }_{\mathbf{a}}\left\{\left(P_{\mathbf{s},{\pi }^{\ast }(\mathbf{s})}-{\mathbf{P}}_{\mathbf{s},\mathbf{a}}\right){\left(\mathbf{I}-\gamma {\mathbf{P}}_{{\mathbf{\pi }}^{\ast }}\right)}^{-1}\mathbf{R}\right\}-\lambda |\mathbf{R}|\right]\\ \text{ s.t. }-\left(P_{\mathbf{s},{\pi }^{\ast }(\mathbf{s})}-{\mathbf{P}}_{\mathbf{s},\mathbf{a}}\right)\left(\mathbf{I}-\gamma {\mathbf{P}}_{{\pi }^{\ast }}\right)\mathbf{R}⩽0\\ |\mathbf{R}|⩽{\mathbf{R}}_{\max }\end{array}$$

  之后我们去求解上述规划问题即可。可参考代码：Inverse-Reinforcement-Learning。

无限状态下的求解

  在无线状态空间下，奖励函数可以看作是一个从状态到回报的映射函数：

$$\text{Reward}(s)=w^T\varphi (s)$$

  其中$\varphi (s)$是将状态映射到低维空间。于是问题就变成了求解参数$w$来确定回报函数，这里设定奖励函数为线性函数也是为了之后方便计算。如果状态被映射到一个$d$维的向量上，那么求解回报就相当于进行如下计算：

$$R(s)=w_1{\varphi }_1(s)+w_2{\varphi }_2(s)+\cdots +w_d{\varphi }_d(s)$$

  值函数的计算方式可表示为：

$$\begin{array}{rl}{V}^{\pi }(s)& =\sum _{t=0}^{\infty }{\gamma }^t\sum _{i=1}^d{w}_i{\varphi }_i(s)\\ & =\sum _{i=1}^d\sum _{t=0}^{\infty }{\gamma }^t{w}_i{\varphi }_i(s)\\ & =\sum _{i=1}^d{w}_i\sum _{t=0}^{\infty }{\gamma }^t{\varphi }_i(s)\\ & =\sum _{i=1}^d{w}_i{V}_i^n(s)\end{array}$$

  其中$V_i^{\pi }(s)$表示某一维映射特征的累计值。最终目标同样是希望找到最佳的回报函数，使最优策略的价值最大化：

$$\begin{array}{l}{E}_{{\mathbf{s}}^{\prime }\sim P_{\mathbf{s},{\pi }^{\ast }(\mathbf{s})}}\left[V^{\pi }\left({\mathbf{s}}^{\prime }\right)\right]⩾E_{{\mathbf{s}}^{\prime }\sim P_{\mathbf{s},\mathbf{a}}}\left[V^{\pi }\left({\mathbf{s}}^{\prime }\right)\right]\\ {\sum }_{i=1}^d{w}_i\left(E_{{\mathbf{s}}^{\prime }\sim P_{\mathbf{s},{\pi }^{\ast }(\mathbf{s})}}\left[V_i^{\pi }\left({\mathbf{s}}^{\prime }\right)\right]-E_{{\mathbf{s}}^{\prime }\sim P_{\mathbf{s},\mathbf{a}}}\left[V_i^{\pi }\left({\mathbf{s}}^{\prime }\right)\right]\right)⩾0\end{array}$$

  最终的求解目标为：

 maximize  ∑ s ∈ S 0 min ⁡ a ∈ { a 2 , … a k } { p ( ∑ i = 1 d w i ( E s ′ ∼ P s , π ∗ ( s ) [ V i π ( s ′ ) ] − E s ′ ∼ P s a [ V i π ( s ′ ) ] ) ) }  s.t.  ∣ w i ∣ ⩽ 1 , i = 1 , … , d \begin{aligned} &\text { maximize } \sum_{\boldsymbol{s} \in \boldsymbol{S}_{0}} \min _{\boldsymbol{a} \in\left\{\boldsymbol{a}_{2}, \ldots a_{k}\right\}}\left\{p\left(\sum_{i=1}^{d} w_{i}\left(E_{\boldsymbol{s}^{\prime} \sim P_{\boldsymbol{s}, \pi^{*}(\boldsymbol{s})}}\left[V_{i}^{\pi}\left(\boldsymbol{s}^{\prime}\right)\right]-E_{\boldsymbol{s}^{\prime} \sim P_{\boldsymbol{s a}}}\left[V_{i}^{\pi}\left(\boldsymbol{s}^{\prime}\right)\right]\right)\right)\right\}\\ &\text { s.t. } \quad\left|w_{i}\right| \leqslant 1, i=1, \ldots, d \end{aligned} ​ maximize s∈S0​∑​a∈{a2​,…ak​}min​{p(i=1∑d​wi​(Es′∼Ps,π∗(s)​​[Viπ​(s′)]−Es′∼Psa​​[Viπ​(s′)]))} s.t. ∣wi​∣⩽1,i=1,…,d​

  与之前有限状态下的求解有些许不同的地方在于：

1. 这里我们无法考虑所有的状态，只考虑有限个状态。
2. 这里不是对回报函数做约束，而是对回报函数的参数大小进行约束，类似L1范数。
3. 由于函数式模型可变量有限，所以并不能保证完美你和真实的回报函数。一旦无法完美拟合，模型就有可能违背约束条件的情形，因此我们需要将约束项转变成惩罚项。

  具体实现可参考/irl/linear_irl.py中的large_irl函数。

最大熵逆强化学习

  最大熵逆强化学习(Max Entropy Inverse Reinforcement Learning)，它能够从多个满足限定条件的策略中寻找一个更合理的策略。

• 论文：Maximum entropy inverse reinforcement learning

  期望利用专家的行动轨迹 ζ = { s i , a i } N \zeta=\left\{s_{i}, a_{i}\right\}_{N} ζ={si​,ai​}N​学一个回报函数$r\left(f_{s_j};\theta \right)$，其中$f_{s_j}$是状态的特征抽取，$\theta$是回报函数的参数，如果回报函数与特征之间是线性关系，则可表示为如下形式：

$$r\left({\mathbf{f}}_{{\mathbf{s}}_j}\right)={\theta }^{\mathrm{T}}{\mathbf{f}}_{{\mathbf{s}}_j}=\sum _i{\theta }_i{\mathbf{f}}_i$$

  此时某条轨迹$\zeta$的累计回报可以写作：

$$r\left(f_{\zeta }\right)=\sum _{s_j\in \zeta }{\theta }^{\mathrm{T}}{f}_{s_j}={\theta }^{\mathrm{T}}\sum _{s_j\in \zeta }{f}_{s_j}={\theta }^{\mathrm{T}}{f}_{\zeta }$$

  假设所有的轨迹起始于同一个状态，将每一条轨迹 $\tilde{\mathbf{\zeta }}$ 聚合起来，就可以用这些轨迹得到价值期望的估计：

$$v(\mathbf{f})=E_{{\tilde{\mathbf{\zeta }}}_{\mathbf{i}}}\left[r\left(f_{{\tilde{\mathbf{\xi }}}_{\mathbf{i}}}\right)\right]\simeq \frac{1}{m}\sum _{\mathbf{i}}{\theta }^{\mathrm{T}}{\mathbf{f}}_{{\mathbf{\xi }}_{\mathbf{i}}}={\theta }^{\mathrm{T}}\frac{1}{m}\sum _{\mathbf{i}}{f}_{{\tilde{\mathbf{\zeta }}}_{\mathbf{i}}}={\theta }^{\mathrm{T}}\tilde{\mathbf{f}}$$

  假定策略模型为$P_{\pi }\left({\zeta }_i\right)$，我们希望策略模型交互得到的轨迹的累计回报等于专家轨迹的累计回报：

$$E_{{\zeta }_i\sim \pi }\left[r\left(f_{\zeta }\right)\right]={\theta }^{\mathrm{T}}\sum _i{P}_{\pi }\left({\zeta }_i\right)f_{{\zeta }_i}={\theta }^{\mathrm{T}}\tilde{f}$$

  由于等式两边$\theta$相同，可以得到：

$$\sum _i{P}_{\pi }\left({\zeta }_i\right)f_{{\zeta }_i}=\frac{1}{m}\sum _i{f}_{{\tilde{\zeta }}_i}$$

  上述这个约束条件并不是很强的一个约束，满足这个约束的策略模型$P_{\pi }\left({\zeta }_i\right)$可能有很多，而这些策略在完整的问题空间中可能各有优劣，因此在完整的问题空间中仍然可能得到一个较差模型。

• 最大熵约束：

  这里就引入另外一个约束，最大熵约束。如果轨迹获得的累计回报${\theta }^{\mathrm{T}}{f}_{\zeta }$比较高，那么策略应该以较高的概率出现这条轨迹，再依据最大熵模型可以将轨迹的概率可表示为：

$$P\left({\zeta }_i\mid \theta \right)=\frac{1}{Z(\theta )}{\mathrm{e}}^{{\theta }^{\mathrm{T}}{f}_{{\zeta }_i}}=\frac{1}{Z(\theta )}{\mathrm{e}}^{{\theta }^{\mathrm{T}}{\sum }_{s_j\in {\zeta }_i}{f}_{s_j}}$$

  其中$Z(\theta )={\sum }_i{\mathrm{e}}^{{\theta }^{\mathrm{T}}{f}_{\zeta }}$。令动作序列为$o$，则$P_T(\zeta |o)$表示当行动序列确定时，状态最终转换成序列$\zeta$的概率为：

$$P(\zeta \mid \theta ,T)=\sum _{o\in O}{P}_T(\zeta \mid o)\frac{{\mathrm{e}}^{{\theta }^{\mathrm{T}}{f}_{\zeta }}}{Z(\theta ,o)}{I}_{\zeta \in \mathrm{o}}$$

  其中$I_{\zeta \in \mathrm{o}}$表示轨迹是否可以通过某一条行动序列生成，当这个值等于1时，表示轨迹可以通过行动序列生成，反之无法生成。将其近似为一个可解的形式：

$$P(\zeta \mid \theta ,T)\simeq \frac{{\mathrm{e}}^{{\theta }^{\mathrm{T}}{f}_{\zeta }}}{Z(\theta ,\mathbf{o})}\prod _{s_{t+1},a_t,s_t\in \zeta }{P}_T\left(s_{t+1}\mid a_t,s_t\right)$$

• 最大似然法求解

  由此得到了模型对轨迹的概率，采用最大似然法进行优化，假定问题是确定的MDP，对应的目标函数为：

$${\theta }^{\ast }={\mathrm{argmax}}_{\theta }L(\theta )=\mathrm{argmax}\sum _{\zeta }\log p(\mathbf{\zeta }\mid \theta ,T)$$

  与最大熵模型求解类似，先构建拉格朗日函数，然后求导令，得到参数梯度的计算公式：

$$\nabla L(\theta )=\tilde{f}-\sum _{\zeta }p(\zeta \mid \theta ,T)f_{\zeta }$$

  其中$p(\zeta \mid \theta ,T)$和$f_{\zeta }$这两项都显得有些复杂。考虑确定MDP的问题，即行动可以直接决定下一时刻的状态。这样当初始状态、策略和回报函数确定时，未来的轨迹也就确定下来。所以将每一条轨迹的状态分别列出来，再将其中重复状态合并，将这些状态的概率与状态对应的特征相乘，得到的结果也是一样的：

$$\nabla L(\theta )=\tilde{f}-\sum _{s_i}{D}_{s_i}{f}_{s_i}$$

  其中$D_{si}$称为状态访问频率期望(Expected State Visitation Frequency)，根据策略和确定的状态转移概率推演，可以得到任意一个时刻状态出现的概率，之后将每一个时刻状态出现的概率加起来，即可得到$D_{s_i}$。

• 前向后向计算方法：

  先通过反向计算求出策略模型，再进行前向计算得到状态访问频率期望：

  设定在最后一刻$T$所有状态的出现值为1，就可以计算$T-1$时刻某个状态下执行某个动作的概率$P_{T-1}(a_{i,j}|s_i)$可以得到：

$$\begin{array}{rl}{P}_{T-1}\left({\mathbf{a}}_{i,j}\mid {\mathbf{s}}_i\right)& =\frac{P\left({\mathbf{s}}_i,{\mathbf{a}}_{i,j}\right)}{P\left({\mathbf{s}}_i\right)}\\ & =\frac{{\sum }_{k}P\left({\mathbf{s}}_i,{\mathbf{a}}_{i,j},{\mathbf{s}}_k\right)}{{\sum }_{a_{i,j}}{\sum }_{k}P\left(s_i,{\mathbf{a}}_{i,j},s_k\right)}\\ & =\frac{{\sum }_{k}P\left({\mathbf{a}}_{i,j}\mid {\mathbf{s}}_i\right)p\left(s_k\mid {\mathbf{s}}_i,{\mathbf{a}}_{i,j}\right)}{{\sum }_{a_{i,j}}{\sum }_{k}P\left({\mathbf{a}}_{i,j}\mid {\mathbf{s}}_i\right)p\left(s_k\mid {\mathbf{s}}_i,{\mathbf{a}}_{i,j}\right)}\end{array}$$

  之前提到轨迹出现的概率和回报成正相关，于是可以使用回报替代概率值，得到：

$$=\frac{{\sum }_k{\mathrm{e}}^{\mathrm{r}\mathrm{e}\mathrm{w}\mathrm{a}\mathrm{r}\mathrm{d}\left({\mathbf{s}}_i\mid \theta \right)}p\left({\mathbf{s}}_k\mid {\mathbf{s}}_i,{\mathbf{a}}_{i,j}\right)}{{\sum }_{a_{i,j}}{\sum }_k{\mathrm{e}}^{\mathrm{r}\mathrm{e}\mathrm{w}\mathrm{a}\mathrm{r}\mathrm{d}\left({\mathbf{s}}_i\right)\mid \theta }p\left({\mathbf{s}}_k\mid {\mathbf{s}}_i,{\mathbf{a}}_{i,j}\right)}$$

  令$Z_{{\mathbf{a}}_{i,j}}={\sum }_k{\mathrm{e}}^{\mathrm{r}\mathrm{e}\mathrm{w}\mathrm{a}\mathrm{r}\mathrm{d}\left({\mathbf{s}}_i\mid \theta \right)}p\left(s_k\mid {\mathbf{s}}_i,{\mathbf{a}}_{i,j}\right)$，公式就可以变为：

$$=\frac{Z_{a_{i,j}}}{{\sum }_{a_{i,j}}{Z}_{a_{i,j}}}$$

  当时刻转到$T-2$时，我么可以得到类似的结果：

$$P_{T-2}\left({\mathbf{a}}_{i,j}\mid {\mathbf{s}}_i\right)=\frac{{\sum }_k{\mathrm{e}}^{\mathrm{r}\mathrm{e}\mathrm{w}\mathrm{a}\mathrm{r}\mathrm{d}\left({\mathbf{s}}_i\mid \theta \right)}p\left({\mathbf{s}}_k\mid {\mathbf{s}}_i,{\mathbf{a}}_{i,j}\right)Z_{{\mathbf{s}}_k}}{{\sum }_{{\mathbf{a}}_{i,j}}{\sum }_k{\mathrm{e}}^{\mathrm{r}\mathrm{e}\mathrm{w}\mathrm{a}\mathrm{r}\mathrm{d}\left({\mathbf{s}}_i\right)\mid \theta }p\left({\mathbf{s}}_k\mid {\mathbf{s}}_i,{\mathbf{a}}_{i,j}\right)Z_{{\mathbf{s}}_k}}$$

  这样就得到了一个迭代公式，随着迭代轮数不断增加，策略估计值会变得越来越稳定，越来越接近真实的策略，这样就可以完成策略的计算。拿到策略之后可以进行前向计算，得到每个时刻的访问频率。

  Max Entropy Inverse Reinforcement Learning中还介绍了深度最大熵逆强化学习，主要改进是将其中的模型换成了深层模型。

参考

[1] Apprenticeship learning via inverse reinforcement learning （2004年 学徒学习）
[2] Maximum Margin Planning (2006年 最大边际规划)
[3] Inverse reinforcement learning through structured classification(2012年 结构化分类)
[4] Neural inverse reinforcement learning in autonomous navigation(2016年 神经逆向强化学习)