强化学习打卡班第四五章

第四章 Policy Gradient梯度策略

例子

在强化学习中有 3 个组成部分：智能体(actor)、环境(environment) 和 奖励函数(reward function)。

在强化学习里面，环境跟奖励函数不可控制，环境跟奖励函数是在开始学习之前，就已经事先给定的。唯一能做的事情是调整智能体里面的策略(policy)，使得智能体可以得到最大的奖励。智能体里面会有一个策略，这个策略决定了智能体的行为。给定一个外界的输入，策略会输出演员现在应该要执行的行为。

以雅达利游戏为强化学习例子，其可以看出，
1.策略就是一个网络；
2.输入就是游戏的画面，它通常是由像素(pixels)所组成的；
3.输出就是看看说有哪些选项是你可以去执行的，输出层就有几个神经元。
4.假设你现在可以做的行为有 3 个，输出层就是有 3 个神经元。每个神经元对应到一个可以采取的行为。
5.输入一个东西后，网络就会给每一个可以采取的行为一个分数，可以当作是概率。演员就是看这个概率的分布，根据这个概率的分布来决定它要采取的行为。比如说 70% 会向左走，20% 向右走，10% 开火等等。概率分布不同，演员采取的行为就会不一样。

首先，环境是一个函数，在一场游戏里面，我们把环境输出的 ss 跟演员输出的行为 aa，把 ss 跟 aa 全部串起来， 叫做一个 Trajectory(轨迹)，如下式所示。
 Trajectory  τ = { s 1 , a 1 , s 2 , a 2 , ⋯   , s t , a t } \text { Trajectory } \tau=\left\{s_{1}, a_{1}, s_{2}, a_{2}, \cdots, s_{t}, a_{t}\right\}  Trajectory τ={s1​,a1​,s2​,a2​,⋯,st​,at​}
你其实可以计算某一个轨迹发生的概率，你可以计算某一个回合里面发生这样子状况的概率。
$$\begin{array}{rl}{p}_{\theta }(\tau )& =p\left(s_1\right)p_{\theta }\left(a_1\mid s_1\right)p\left(s_2\mid s_1,a_1\right)p_{\theta }\left(a_2\mid s_2\right)p\left(s_3\mid s_2,a_2\right)\cdots \\ & =p\left(s_1\right)\prod _{t=1}^T{p}_{\theta }\left(a_t\mid s_t\right)p\left(s_{t+1}\mid s_t,a_t\right)\end{array}$$
（这里可以理解为，是一系列的条件概率，这里条件概率相关的公式都快忘差不多了，这里补上）

贝叶斯公式补充

贝叶斯公式：
$$P(X_j|Y_i)=\frac{p(y_i|x_j)p(x_i)}{{\sum }_{j=1}^{n}p(y_i|x_j)p(x_j))}$$

基于此，可以计算单个轨迹发生的概率。这个概率取决于两部分：
1.环境的行为 。环境的函数内部的参数或内部的规则长什么样子。 $p(s_t+1\mid s_t,a_t)$这一项代表的是环境，通常无法控制。
2.agent 的行为。你能控制的是 $p_{\theta }(a_t\mid s_t)$给定一个 $s_t$，演员要采取什么样的 $a_t$，会取决于演员的参数 $\theta$，所以这部分是演员可以自己控制的。随着演员的行为不同，每个同样的轨迹， 它就会有不同的出现的概率。

奖励函数(reward function)

奖励函数根据在某一个状态采取的某一个动作，决定现在这个行为可以得到多少的分数。
在算法中，主要做的就是调整actor内部参数$\theta$，使R越大越好。但由于R是一个随机变量，由动作和环境同时决定，只能计算R的期望值。即给定一组$\theta$，计算$R_{\theta }$的期望是多少。
$${\bar{R}}_{\theta }=\sum _{\tau }R(\tau )p_{\theta }(\tau )=E_{\tau -p_{\theta }(\tau )}[R(\tau )]$$

目标就是，将期望奖励最大化。

最大化方法–梯度上升

PPO算法

从 On-policy 到 Off-policy

在讲 PPO 之前，我们先回顾下 on-policy 和 off-policy 这两种训练方法的区别。 在强化学习里面，我们要学习的就是一个 agent。

如果要学习的 agent 跟和环境互动的 agent 是同一个的话， 这个叫做on-policy(同策略)。
如果要学习的 agent 跟和环境互动的 agent 不是同一个的话， 那这个叫做off-policy(异策略)。

近端策略优化(Proximal Policy Optimization，简称 PPO) 是 policy gradient 的一个变形，它是现在 OpenAI 默认的强化学习算法。