【强化学习】逆强化学习概念

逆向强化学习

什么是逆向强化学习

强化学习时求累计回报期望最大时的最优策略，在求解过程中的奖励函数是人为指定的，而奖励函数的设置与最后获得最优的策略有很大关联，而在很多复杂任务中，回报函数是很难定下来的
指定回报函数的方法：

• 从人的示例中学到隐形的回报函数
  而逆向强化学习就是从专家示例中学到回报函数

逆向强化学习的分类

主要分为两类：

• 最大边际形式化：包括学徒学习（AL）、MMP方法、结构化分类、神经逆向强化学习，但是这种方法无法解决歧义的问题，很多时候不存在单独的回报函数使得专家示例行为既是最优又比其他行为好很多，或者有很多不同的回报函数使得出现相同的专家策略。
• 基于概率模型的形式化：她可以解决歧义性问题

基于最大边际的方法

学徒学习

学徒学习：智能体从专家示例中学到回报函数，使得在该回报函数下所得到的最优策略在专家示例策略附近
回报函数R(s)一般都是状态函数，因此可以利用函数逼近的方法，对其进行参数逼近
$R(s)=w\cdot \phi (s)$
其中φ(s)是基底函数，可以是多项式，也可以是傅里叶基底，IRL的目标就是求系统w，用一个策略的特征期望来判断这个策略与专家策略的相近程度，通过给定专家轨迹，IRL尝试策略$\hat{\pi }$，计算期望，如果两个期望相差小于定义的ε，则接受这个策略。
根据值函数定义，策略$\hat{\pi }$的值函数为：
$E_{s_{0}D}[V^{\pi }(s_0)]=E[{\sum }_{t=0}^{\infty }{\gamma }^{t}R(s_t)|\pi ]=w\cdot E[{\sum }_{t=0}^{\infty }{\gamma }^t\phi (s_t)|\pi ]$
专家策略的特征期望：${\hat{\mu }}_E=\frac{1}{m}{\sum }_{i=1}^m{\sum }_{t=0}^{\infty }{\gamma }^t\phi (s_t^{(i)})$

总结：学徒逆向强化学习方法分为两步，第一步在已经迭代得到的最优策略中，利用最大边际方法求出当前的回报函数的参数值；第二步利用求出的回报函数的参数值进行正向强化学习方法求得当前最优的策略，然后重复第一步。
为了寻找最优策略π~接近专家策略. 使两者的策略值函数E(V)接近, 即特征期望μ接近：
$||E[{\Sigma }_{t=0}^{\infty }{\gamma }^{t}R(s_t)|{\pi }_E-E[{\Sigma }_{t=0}^{\infty }{\gamma }^{t}R(s_t)|\hat{\pi }]\mid \mid =\mid \mid w^T\mu (\hat{\pi })-w^T{\mu }_E\mid \mid \le \Vert w{\Vert }_2\Vert \mu (\pi )-{\mu }_E{\Vert }_2\le 1\cdot ϵ=ϵ$

最大熵拟强化学习

在概率论中，熵是不确定性的度量，不确定性越大，熵越大，在区间固定时，均匀分布的熵最大，因为选择每个点的概率相同，不确定性很大。

最大熵原理

在学习概率模型时，在所有满足约束的概率分布中，熵最大的模型是最好的模型，因为他没有对未知做任何主观假设。
条件分布P(Y|X)的熵：
$H(P)=-{\sum }_{x,y}P(y,x)logP(y|x)=-{\sum }_{x,y}\widehat{P(x)}P(y|x)logP(y|x)$

从概率模型的角度建模逆向强化学习，也就是存在一个潜在的概率分布，在这个概率分布下，产生了专家轨迹，也就是已知专家轨迹，求产生这个轨迹分布的概率模型。
${\sum }_{Path}P({\zeta }_i)f_{{\zeta }_i}=\hat{f}$

• f：特征期望
• $\hat{f}：专家特征期望$
  在满足方程的所有概率分布中，熵最大的概率分布可以避免歧义性的问题

一个分布的熵越是最大化，就越能有效地最小化选择最差策略的概率，越能将预测风险最小化。

理论推导

先贴一个看到很全面的推导最大熵模型 Maximum Entropy Model
现在要优化问题的原型：
$mi{n}_{P\in C}{\sum }_{x,y}\widehat{P(x)}P(y|x)logP(y|x)$
$s.t.{\sum }_{Path}P({\zeta }_i)f_{{\zeta }_i}=\hat{f}$
${\sum }_{y}P(y|x)=1$
现在是一个带有约束条件的最优化问题，通过引入拉格朗日乘子将其转化为无约束的优化问题，定义拉格朗日函数L(P,w)
$\begin{array}{rl}L(P,w)& =-H(P)+w_0\left(1-\sum _{y}P(y|x)\right)+\sum _{i=1}^n{w}_i(E_{\tilde{P}}(f_i)-E_p(f_i))\\ & =\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)+w_0\left(1-\sum _{y}P(y|x)\right)+\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f(x,y)-\sum _{x,y}\tilde{P}(x)p(y|x)f(x,y)\right)\end{array}$

由于是求极小值，因此拉格朗日函数必须要满足约束条件，满足后$L(P,w)=maxL(P,w)$，为了方便处理将其转化为极大极小问题：${\min }_{P\in C}{\max }_{w}L(P,w)$
对偶后发现，极大极小与极小极大问题等价：
${\min }_{P\in C}{\max }_{w}L(P,w)=ma{x}_{w}mi{n}_{P\in C}L(P,w)$
先求内部极小问题，得到的是一个关于w的函数：
$\Psi (w)={\min }_{P\in C}L(P,w)=L(P_w,w)$ 其中Pw可以记做：
$P_w=arg{\min }_{P\in C}L(P,w)=P_w(y|x)$，要求解P的最小值Pw，只需要对P(y|x)进行求导，令导数得0即可
$\begin{array}{rl}\frac{\partial L(P,w)}{\partial P(y|x)}& =\sum _{x,y}\tilde{P}(x)(logP(y|x)+1)-\sum _y{w}_0-\sum _{x,y}\left(\tilde{P}(x)\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x)\left(logP(y|x)+1-w_0-\sum _{i=1}^n{w}_i{f}_i(x,y)\right)=0\\ \Rightarrow & \\ P(y|x)& =exp\left(\sum _{i=1}^n{w}_i{f}_i(x,y)+w_0-1\right)=\frac{exp\left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)}{exp(1-w_0)}\end{array}$

由于${\sum }_{y}P(y|x)=1$ 可以得到：
$exp(1-w_0)={\sum }_{y}exp\left({\sum }_{i=1}^n{w}_i{f}_i(x,y)\right)$
令$Z_w(x)=exp(1-w_0)$

这里 fi(x,y) 代表特征函数，wi 代表特征函数的权值，对内部极小化得到关于w的函数，现在对外部最大化，就可以得到最优解：$w^{\ast }=arg{\max }_w\Psi (w)$，将Pw(y|x)代入$\Psi (w)$中
$\begin{array}{rl}\Psi (w)& =\sum _{x,y}\tilde{P}(x)P_w(y|x)log{P}_w(y|x)+\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f(x,y)-\sum _{x,y}\tilde{P}(x)P_w(y|x)f(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P_w(y|x)\left(log{P}_w(y|x)-\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _{x,y}\tilde{P}(x)P_w(y|x)log{Z}_w(x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _x\tilde{P}(x)log{Z}_w(x)\sum _y{P}_w(y|x)\\ & =\sum _{x,y}\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)+\sum _x\tilde{P}(x)log{Z}_w(x)\end{array}$

最后得到最终求解问题：
${\max }_{p\in C}{\sum }_{x,y}\tilde{P}(x,y){\sum }_{i=1}^n{w}_i{f}_i(x,y)+{\sum }_x\tilde{P}(x)log{Z}_w(x)$