model-free强化学习-Policy-based

Policy-based

将神经网络作为一个Actor，输入是观测observation，表示形式是一个向量或一个矩阵。输出是每个行为对应的概率，类似于分类问题中的判断类别，会对应每个类别有个概率，如下如所示：

考虑一个episode τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , . . . , s T , a T , r T , } \tau=\{s_{1},a_{1}, r_{1},s_{2},a_{2}, r_{2},...,s_{T},a_{T}, r_{T},\} τ={s1​,a1​,r1​,s2​,a2​,r2​,...,sT​,aT​,rT​,}。对于参数为$\theta$的Actor，产生这个episode的概率为：
$$\begin{gathered} p(\tau |\theta )=p(s_1)p(a_1|s_1,\theta )p(r_1,s_2|s_1,a_1)p(a_2|s_2,\theta )p(r_2,s_3|s_2,a_2)... \\ =p(s_1)\prod _{t=1}^{T_n}p(a_t|s_t,\theta )p(r_t,s_{t+1}|s_t,a_t)(1) \end{gathered}$$
其中$p(s_1)$和$p(r_t,s_{t+1}|s_t,a_t)$部分不是由actor决定的，$p(a_t|s_t,\theta )$是actor对于属于观测$s_t$所预测的结果为$a_t$的概率。对于这个$\tau$，产生的奖励值为$R(\tau )={\sum }_{t=1}^{T_n}{r}_t$
使用actor玩$N$次游戏，也就是在$p(\tau |\theta )$分布下$N$次抽样$\tau$,得到$N$个episode { τ 1 , τ 2 , . . . , τ N } \{\tau^{1},\tau^{2},...,\tau^{N}\} {τ1,τ2,...,τN},得到的奖励的期望为：
$${\bar{R}}_{\theta }=\sum _{\tau }R(\tau )p(\tau |\theta )$$
我们的优化目标是最大化期望奖励：
$${\theta }^{\ast }=\arg \underset{\theta }{\max }{\bar{R}}_{\theta }$$
求解梯度：
$$\begin{gathered} \nabla {\bar{R}}_{\theta }=\sum _{\tau }R(\tau )\nabla p(\tau |\theta )=\sum _{\tau }R(\tau )p(\tau |\theta )\frac{\nabla p(\tau |\theta )}{p(\tau |\theta )} \\ =\sum _{\tau }R(\tau )p(\tau |\theta )\nabla \log p(\tau |\theta )\approx \frac{1}{N}\sum _{i=1}^{N}R({\tau }^n)\nabla \log p({\tau }^n|\theta ) \\ =\frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\nabla \log [p(s_1^n)\prod _{t=1}^{T}p(a_t^n|s_t^n,\theta )p(r_t^n,s_{t+1}^n|s_t^n,a_t^n)] \\ =\frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\sum _{t=1}^T\nabla \log p(a_t^n|s_t^n,\theta )\#ignorethetermnotrelated\theta \\ =\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T}R({\tau }^n)\nabla \log p(a_t^n|s_t^n,\theta ) \end{gathered}$$
使用梯度提升更新参数：$\theta \leftarrow \theta +\eta \overline{R_{\theta }}$

Actor参数$\theta$的优化可以从分类的角度去优化。
将每一个$\tau$分解产生多个$(s,a)$，每一个$(s,a)$都是一个训练数据。


最大化优化交叉熵：$\max {\sum }_{i=1}^3\widehat{y_i}\log y_i$
对于一个数据$(s,a=left)$,对应的交叉熵为：$\log p(a=left|s)$
此时对于$N$次$\tau$，对应的梯度为：
$$\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}\nabla \log p(a_t^n|s_t^n,\theta )$$
每一个训练数据要通过$R(\tau )$进行加权，因为奖励大的数据占的权重也大，经过加权之后的误差与上面同奖励得到的梯度一致了
$$\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}R({\tau }^n)\nabla \log p(a_t^n|s_t^n,\theta )$$
$R(\tau )$通常都是正数，为了防止某些动作没有被抽样到，减去一个噪声常数$b$,确保模型能够发生各种行为：
$$\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}(R({\tau }^n)-b)\nabla \log p(a_t^n|s_t^n,\theta )$$
如果一开始模型抽样到的所有行为都会产生了正反馈调节，那么这些行为后续出现的概率将增大，其他行为的概率将会减小，进而使得接下来的更新更偏向于上一轮抽样到的样本。减去一个噪声常数确保了Actor对一些奖励小的行为进行抑制，确保大的奖励才能更新，消除了不公平现象。