近端策略优化(PPO)

Proximal Policy Optimization(PPO)

一.同策略和异策略

如果要学习的智能体和与环境交互的智能体是相同的,我们称之为同策略。如果要学习的智能体和与环境交互的智能体不是相同的,我们称之为异策略。

为什么我们会想要考虑异策略?让我们回忆一下策略梯度。策略梯度是同策略的算法,因为在策略梯度中,我们需要一个智能体、一个策略和一个演员。演员去与环境交互搜集数据,搜集很多的轨迹 τ,根据搜集到的数据按照策略梯度的公式更新策略的参数,所以策略梯度是一个同策略的算法。PPO 是策略梯度的变形,它是现在 OpenAI 默认的强化学习算法。

问题在于上式Eτ∼pθ(τ) 是对策略 πθ 采样的轨迹 τ 求期望。一旦更新了参数,从 θ 变成 θ′ ,概率 pθ(τ ) 就不对了,之前采样的数据也不能用了。所以策略梯度是一个会花很多时间来采样数据的算法,其大多数时间都在采样数据。智能体与环境交互以后,接下来就要更新参数。我们只能更新参数一次,然后就要重新采样数据,才能再次更新参数。这显然是非常花时间的,所以我们想要从同策略变成异策略,这样就可以用另外一个策略 πθ′、另外一个actor θ′ 与环境交互(θ′ 被固定了),用 θ′ 采样到的数据去训练θ。假设我们可以用 θ′ 采样到的数据去训练 θ,我们可以多次使用 θ′ 采样到的数据,可以多次执行梯度上升(gradient ascent),可以多次更新参数,都只需要用同一批数据。因为假设 θ 有能力学习另外一个actorθ′ 所采样的数据,所以 θ′ 只需采样一次,并采样多一点的数据,让 θ 去更新很多次,这样就会比较有效率。

 

二.重要性采样

重要性采样是,使用另外一种分布来逼近所求分布一种方法。假设我们有一个函数 f(x),要计算从分布 p 采样 x,再把 x 代入 f ,得到 f(x)。我们该怎么计算f(x) 的期望值呢?假设我们不能对分布 p 做积分,但可以从分布 p 采样一些数据 xi。把 xi 代入 f(x),取它的平均值,就可以近似 f(x) 的期望值。如下式所示


现在有另外一个问题,假设我们不能从分布 p 采样数据,只能从另外一个分布 q 采样数据 x,q 可以是任何分布。如果我们从 q 采样 xi,就不能使用上式,因为上式是假设 x 都是从 p 采样出来的。

 

 


我们就可以写成对 q 里面所采样出来的 x 取期望值。我们从 q 里面采样 x,再计算f\left( x\right) \dfrac{p\left( x\right) }{q\left( x\right) }f(x)q(x)p(x)​,再取期望值。所以就算我们不能从 p 里面采样数据,但只要能从 q 里面采样数据,就可以计算从 p 采样 x 代入 f以后的期望值。
重要性采样有一些问题。虽然我们可以把 p 换成任何的 q。但是在实现上,p 和 q 的差距不能太大。差距太大,会有一些问题。

三.重要性采样应用到PPO

现在要做的就是把重要性采样用在异策略的情况中,把同策略训练的算法改成异策略训练的算法。怎么改呢?如下式所示,之前我们用策略 πθ 与环境交互,采样出轨迹 τ,计算 R(τ )∇ log pθ(τ )。现在我们不用 θ 与环境交互,假设有另外一个策略 π′θ,它就是另外一个actor,它的工作是做示范

θ′ 的工作是为 θ 做示范。它与环境交互,告诉 θ 它与环境交互会发生什么事,借此来训练 θ。我们要训练的是 θ ,θ′ 只负责做示范,负责与环境交互。我们现在的 τ 是从 θ′ 采样出来的,是用 θ′ 与环境交互。所以采样出来的 τ 是从 θ′ 采样出来的,这两个分布不一样。我们本来要从p采样,但发现不能从 p 采样,所以我们不用 θ 与环境交互,可以把 p 换成 q,在后面补上一个重要性权重。

在做策略梯度的时候,实际更新梯度的过程可写为

 

我们可以通过重要性采样把同策略变成异策略,从 θ 变成 θ′。
 

根据
 

可以化简为

 

假设模型是 θ 的时候,我们看到 st 的概率,与模型是 θ′ 的时候,我们看到 st 的概率是一样的,即 pθ(st) = pθ′ (st)。因为 pθ(st) 和 pθ′ (st) 是一样的,所以我们可得
 

再带入
 

可以推导出,当我们使用重要性采样的时候,要去优化的目标函数为
 

四.近端策略优化

重要性采样有一个问题:如果 pθ (at|st) 与 pθ′ (at|st)相差太多,即这两个分布相差太多,重要性采样的结果就会不好。怎么避免它们相差太多呢?这就是 PPO要做的事情。

在训练的时候,应多加一个约束(constrain)。这个约束是 θ 与 θ′ 输出的动作的 KL 散度(KL divergence),这一项用于衡量 θ 与 θ′ 的相似程度。我们希望在训练的过程中,学习出的 θ 与 θ′ 越相似越好。因为如果 θ 与 θ′ 不相似,最后的结果就会不好。添加约束如下式所示。

KL 散度到底指的是什么?这里我们直接把 KL 散度当作一个函数,输入是 θ 与 θ′,但并不是把 θ 或 θ′ 当作一个分布,计算这两个分布之间的距离。所谓的 θ 与 θ′ 的距离并不是参数上的距离,而是行为(behavior)上的距离。假设我们有两个演员——θ 和 θ′,所谓参数上的距离就是计算这两组参数有多相似。这里讲的不是参数上的距离,而是它们行为上的距离。行为距离(behavior distance)就是,给定同样的状态,输出动作之间的差距。这两个动作的分布都是概率分布,所以我们可以计算这两个概率分布的 KL 散度。把不同的状态输出的这两个分布的 KL 散度的平均值就是我们所指的两个演员间的 KL 散度。

 

五.PPO算法变种

近端策略优化惩罚(PPO-penalty)

近端策略优化惩罚算法。它先初始化一个策略的参数 θ0。在每一个迭代里面,我们用前一个训练的迭代得到的演员的参数 θk 与环境交互,采样到大量状态-动作对。根据 θk交互的结果,我们估测 Aθk (st, at)。我们使用 PPO 的优化公式。但与原来的策略梯度不一样,原来的策略梯度只能更新一次参数,更新完以后,我们就要重新采样数据。但是现在不同,我们用 θk 与环境交互,采样到这组数据以后,我们可以让 θ 更新很多次,想办法最大化目标函数,如式所示。这里面的 θ更新很多次也没有关系,因为我们已经有重要性采样,所以这些经验,这些状态-动作对是从 θk 采样出来的也没有关系。θ 可以更新很多次,它与 θk 变得不太一样也没有关系,我们可以照样训练 θ。
 

在 PPO 的论文里面还有一个自适应 KL 散度(adaptive KL divergence)。这里会遇到一个问题就,即 β 要设置为多少。这个问题与正则化一样,正则化前面也要乘一个权重,所以 KL 散度前面也要乘一个权重,但 β 要设置为多少呢?我们有一个动态调整 β 的方法。在这个方法里面,我们先设一个可以接受的 KL 散度的最大值。假设优化完 以后,KL 散度的值太大,这就代表后面惩罚的项没有发挥作用,我们就把 β 增大。另外,我们设一个 KL 散度的最小值。如果优化完以后,KL 散度比最小值还要小,就代表后面这一项的效果太强了,我们怕他只优化后一项,使 θ 与 θk一样,这不是我们想要的,所以我们要减小 β。β 是可以动态调整的,因此我们称之为自适应 KL 惩罚

近端策略优化裁剪(PPO-clip)

最大化的目标函数为

核心目的是不让 pθ(at|st) 与 pθk (at|st) 差距太大。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值