RL论文阅读20 - MF类算法总结(VPG, TROP, PPO, DDPG, TD3, SAC)

最新推荐文章于 2024-05-09 19:58:14 发布
最新推荐文章于 2024-05-09 19:58:14 发布
阅读量1.9k 收藏 9
点赞数 1
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KuXiaoQuShiHuai/article/details/109164746
版权

PG类算法总结

1. On-Policy类算法

1.1 VPG：Vanilla Policy Gradient

  • on policy 算法
  • 可用于动作空连续或者离散动作空间

这个就是最初的PG版本。我们的目的是最大化有限的return。J代表的是无折扣的有限return。

下面的公式推导见从PG到A3C

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CDRny0kw-1603099010518)(20-MF类算法总结(VPG, TROP, PPO, DDPG, TD3, SAC)].assets/20201019171610.svg)

τ \tau τ就是我们的采样序列。

A是Advantage function

可见我们需要获得完整的动作序列。

伪代码：

在这里插入图片描述

1.2 TROP: Trust Region Policy Optimization

  • On-policy算法
  • 离散或者连续动作空间

VPG算法在参数更新的时候，是原始参数+学习率*梯度。在现实应用上，如果有一步走的比较差，就会影响整个PG算法的性能。TROP的思路就是在一定的限制内，来决定这个步长迈出多大。

这个限制来自于新旧两个策略的KL-散度，KL散度可以认为是衡量两个分部的距离的。两个策略越接近，我们迈出的步子越小，策略相差越大，我们迈出的步子就可以越大。

TROP的具体数学推导可看原论文。关键的几个公式如下：

  1. 更新规则

在这里插入图片描述

我们的 L ( θ k , θ ) L(\theta_k, \theta) L(θk​,θ)衡量新的策略(分子)和就得策略(分母)结果相关性的。他们的结果越相同，L越小。

在这里插入图片描述

散度的计算：

在这里插入图片描述

如果新旧两个策略相等，那么梯度就等于0。从数学上可以证明。（我没证。。）

  1. TROP实际应用

    • 上述实际应用很难，所以使用了泰勒公式近似来求解以更快得到结果。-
    • 因为是带有限制的求极值问题，使用拉格朗日对偶(Lagrangian duality)来处理。
    • 添加 α \alpha α的原因是通过泰勒公式进行估计，引入了误差，可能不满足KL的限制，所以加一个系数

    最终的结果：中间推导过程或者原论文

在这里插入图片描述

而且对于H的逆矩阵计算很困难，还用到了共轭梯度算法（ conjugate gradient algorithm）
在这里插入图片描述

1.3 PPO： Proximal Policy Optimization

TRPO算法效果很好，但是应用起来十分复杂。PPO算法解决和TROP一样的问题，就是每次迈多大的步子。PPO更加简单，并且实际效果至少和TRPO一样好。

  • on-policy
  • 连续或者离散动作空间

PPO两个版本：

  • PPO-Penalty:
  • PPO-Clip

具体论文分析Spinningup和Blog-PPO
在这里插入图片描述

2. Off-policy类算法

2.1 DDPG

  • off-policy

  • 连续动作空间

  • 可认为是DQN的连续动作空间版本

分析见Spinningup和Blog-DDPG

off-policy：能够使用experience replay。off-policy的根本原因是在计算Q值的时候，不再需要整个动作序列了，on-policy策略使用整个动作序列的reward累加或者带有折扣的reward累加来确定Q值，从而帮助选择策略。off-policy利用了TD-learning的思想，使用神经网络来估计Return，Q值计算只需要当前奖励和之后的估计Q值。这样不需要记录完整序列，只需要记录状态、动作、奖励即可。所以我们可以将使用其他episode采样的数据来训练当前的policy。坏处就是又引入了误差（因为多了一处估计）

在这里插入图片描述

2.2 TD3 Twin Delayed DDPG

DDPG超参多、参数不好难以收敛，复杂维度训练困难。

DDPG有四个网络，即Critic-net Critic-target-net、Actor-net、Actor-Target-Net

TD3除了critic-target-net，还同时学习两个critic-net来估计Q值，即有两个Critic-net通过反向传播进行更新。

  1. Actor网络输出平滑化

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ws6vPEgI-1603099010531)(20-MF类算法总结(VPG, TROP, PPO, DDPG, TD3, SAC)].assets/8efd61c40551db4eddb3f780d2804cac34c8ae52.svg)

μ \mu μ是Actor网络， a l o w a_{low} alow​是action范围最小值

为了探索，我们往往在Actor网络中增加正态分布的噪声。我们对输出进行剪切处理。

​ 这么做解决了一个DDPG可能失败的一个情形：Q-function输出了一个某些动作的错误的峰值，policy会快速利用这个峰值，那么就会产生错误的动作行为。target policy这么做，可以平滑Q-function在相似动作上的输出。

  1. 在计算y_target时，两个Q-function的结果选择最小的一个

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U0SR3fJ8-1603099010535)(20-MF类算法总结(VPG, TROP, PPO, DDPG, TD3, SAC)].assets/70901eaea34c31e03bb878d7a710a33cb75d1143.svg)

  1. policy的梯度计算只通过其中一个。
    在这里插入图片描述

2.3 SAC Soft Actor-Critic

SAC算法继承了TD3的两个Q-net的结构。同时，引入了交叉熵，不需要手动设置探索率。

Blog-SAC

Reference

本文所有公式和伪代码来自：
SpinningUp

SpadeA_Iverxin
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
testsafetystarteragent
03-07
状态：存档（代码按原样提供，预计不会更新） 安全启动代理 论文“在深度强化学习中对安全探索进行基准测试”的配套回购，其中包含各种不受约束和受约束的RL算法。 此存储库包含用于在“基准安全勘探”论文中获得结果的PPO，TRPO，PPO-Lagrangian，TRPO-Lagrangian和CPO的实现，以及本文中未使用的SAC和SAC-Lagrangian的实验性实现。 请注意，此处的PPO实现遵循的是而不是的约定：它们使用早期停止技巧，省略观察和奖励归一化，并且不使用限幅值损失以及其他可能的差异。 结果，虽然很容易公平地将此PPO与该TRPO进行比较，但它并不是最强大的PPO实施方案（就样本效率而言），并且可以得到实质性的改进。 支持平台 该软件包已在Mac OS Mojave和Ubuntu 16.04 LTS上进行了测试，并且可能适用于最新的Mac和Linux操作系统。 需要Pyt
训练不收敛的几种可能
纸上得来终觉浅
05-26 5493
1. 学习率 2. 数据未归一化 3. 网络结构不合理
一点关于强化学习算法选择的小建议（DDPG算法弊端）
最新发布
m0_58973042的博客
05-09 296
深度学习领域还是一个很不成熟的领域，算法都在飞速更新迭代中。笔者使用的训练环境是从非强化学习问题中移植过来的，需要自行设定奖惩函数，对新手来说没有经验参考或数值处理工作量太大，都会导致参数数量级不一致，混合进神经网络开始计算梯度的时候就会相互影响，导致不合理的权重更新，需要对输入的样本和奖励值进行归一化处理，至少也要使它们处在1左右的同一数量级。，更容易收敛，对调参要求小，适合新手使用。4、同样是critic-actor算法，，加载模型验证时也只输出边界值。1、经过笔者实践及前辈描述，
On-Policy 强化学习与 Off-Policy 强化学习
weixin_37410657的博客
05-04 2271
On-Policy 强化学习和 Off-Policy 强化学习是强化学习中两种重要的学习方法。它们的主要区别在于智能体学习策略的方式。On-Policy 学习遵循当前策略进行学习和执行，而 Off-Policy 学习则使用不同的策略进行学习和执行。这两种方法各有优缺点，适用于不同的应用场景。无论是 On-Policy 还是 Off-Policy 学习，强化学习的目标都是找到一个最优策略，使得智能体在长期内能够获得最大的累积奖励。
2020-09-16
GUFighting的博客
09-16 605
造成DDPG算法loss函数不收敛的原因有哪些？ 已经确认自己的算法框架是对的，参数更新公式完全是参考的一篇博士论文。即使这样在代码训练过程中也会出现损失函数不收敛的情况，特此向各位请教。 ...
强化学习精要-第三部分-基于策略梯度的算法（on-policy）
Asber的博客
11-13 1808
文章目录策略梯度法基本原理策略梯度法改进：Actor CriticA3CA2CA2C算法实现策略单调提升算法TRPO 置信区域策略优化近端策略优化（PPO）提高策略梯度法的样本利用率基于经验回放的Actor Critic（ACER）确定策略梯度法（DPG） 之前介绍的是基于最优价值的强化学习算法——值函数估计，通过最优值函数得到策略。 也就是说 a∗=argmaxaQ(s,a),a∗=π∗(s) ...
DeepReinforcementLearning：深度RL实施。 在pytorch中实现的DQN，SAC，DDPG，TD3，PPO和VPG。 经过测试的环境：LunarLander-v2和Pendulum-v0
02-13
使用Pytorch实现的深度RL算法 算法列表： 关于深入探讨 实验结果： 算法 离散环境：LunarLander-v2 连续环境：Pendulum-v0 DQN -- VPG -- DDPG -- TD3 -- SAC -- PPO -- 用法： 只需直接运行文件/...
labyrinths-of-hedvig:VPG项目
07-01
《海德维格迷宫：VPG项目》是一款基于Pascal编程语言开发的冒险解谜游戏，其核心在于设计和实现一个复杂的迷宫系统。在这个项目中，开发者使用Pascal语言构建了一个虚拟的世界，玩家需要在其中探索、解决谜题，以...
VPG-toolkit:RVPGNet工具箱
04-06
VPG-toolkit是一个专门针对RVPGNet模型的工具箱，主要应用于深度学习和计算机视觉领域。这个工具包的目的是为了方便研究者和开发者在实际项目中利用RVPGNet模型进行训练、验证和推理。RVPGNet是一种先进的算法，可能...
MC34074VPG的技术参数
12-12
总结起来，MC34074VPG是一款高性能的运算放大器，具有高压操作能力、高带宽、快速转换速率、低输入失调电压、低输入偏置电流、高共模抑制比和低噪声等特点。这些特性使其在需要处理高速、高压信号的系统中表现出色，...
MC33204VPG的技术参数
12-12
产品型号:MC33204VPG工作电压Min.(V):1.8,±0.9工作电压Max.(V):12,±6带宽GBW(典型值)(MHz):2.200转换速率(典型值)(V/us):1输入失调电压(25℃,Max.)(mV):10输入偏置电流(Max.)(nA):80nA最大工作电流ID(mA):3.600...
DDPG：基于深度强化学习的连续控制（ICLR 2016）
dckwin的博客
04-01 2783
摘要 我们将“深度Q学习（Deep Q-learning）”成功的基础思想应用于连续动作领域。我们基于确定性策略梯度（Deterministic Policy Gradient，DPG），提出了一种基于演员评论家（Actor-critic），无模型（model-free）的算法，该算法能应用在连续动作空间。我们进一步证明，对于许多任务，算法可以学习“端到端”策略：直接从原始像素输入。 引言 D...
强化学习（7）：深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）
zuzhiang的博客
12-22 4195
本文主要讲解有关 DDPG 算法的有关内容。 一、DDPG 算法 DDPG 是 Deep Deterministic Policy Gradient 的缩写，其中深度 （Deep） 代表 DQN；确定性（Deterministic）是指不再先生成各个动作的概率然后再选择概率最高的动作，而是直接输出一个确定性的动作；Policy Gradient 就不用解释了吧。 因为在 Actor-Critic...
基于策略的强化学习(四)：深度确定性策略梯度(DDPG)算法
ZongXS的博客
06-30 2255
深度确定性策略梯度(DDPG)算法 深度确定性策略梯度算法是使用深度学习技术、同时基于 Actor—Critic 算法的确定性策略算法。该算法中的 Actor 和 Critic 都使用深度神经网络来建立近似函数。由于该算法可以直接从 Actor 的策略生成确定的行为而不需要依据行为的概率分布进行采样而被称为确定性策略。该算法在学习阶段通过在确定性的行为基础上增加一个噪声函数而实现在确定性行为周围的小范围内探索。此外，该算法还为 Actor 和 Critic 网络各备份了一套参数用来计算行为价值的期待值以更
7个流行的强化学习算法及代码实现
y1282037271的博客
02-06 557
目前流行的强化学习算法包括 Q-learning、SARSA、DDPG、A2C、PPO、DQN 和 TRPO。这些算法已被用于在游戏、机器人和决策制定等各种应用中，并且这些流行的算法还在不断发展和改进，本文我们将对其做一个简单的介绍。
DDPG ,TD3,SAC
aaaaPIKACHU的博客
05-18 1826
DDPG与SAC的区别： DDPG训练得到的是一个deterministic policy确定性策略，也就是说这个策略对于一种状态state只考虑一个最优的动作。Deterministic policy的最终目标找到最优路径。 Stochastic policy随机策略在实际应用中往往是更好的做法。比如我们让机器人抓取一个水杯，机器人是有无数条路径去实现这个过程的，而并不是只有唯一的一种做法。因此，我们就需要DRL算法能够给出一个随机策略，在每一个state上都能输出每一种action的概率，比如有3个
普通策略梯度算法原理及PyTorch实现【VPG】
新缸中之脑
12-04 377
有没有想过强化学习 (RL) 是如何工作的？在本文中，我们将从头开始构建最简单的强化学习形式之一 —普通策略梯度（VPG）算法。然后，我们将训练它完成著名的 CartPole 挑战 — 学习从左向右移动购物车以平衡杆子。在此过程中，我们还将完成对 OpenAI 的 Spinning Up 学习资源的第一个挑战。本文的代码可以在找到。
【强化学习】常用算法之一 “SAC”
Code_and516的博客
06-29 5797
强化学习（Reinforcement Learning，RL）是一种机器学习的分支，其目标是让智能体（agent）通过与环境的交互学习到最优的行为策略。SAC（Soft Actor-Critic）算法是近年来在强化学习领域取得重要突破的算法之一，它是一种基于策略优化和价值函数学习的算法。相对于传统的强化学习算法，SAC算法在优化过程中引入了熵正则化和软化策略更新的概念，使得智能体能够更好地探索未知的状态，提高学习效率。
::v-deep用法
11-11
引用中的`::v-deep`是一个Vue.js中的伪选择器，用于在组件中穿透样式并应用于子组件。在上述代码中，`.b`类的样式将被应用于`.a`类的子组件中。`::v-deep`可以用于覆盖子组件中的样式，但是在Vue.js 3.0中已被弃用，建议使用`/deep/`或`>>>`代替。 引用中提到了使用PyTorch实现的深度强化学习算法，包括DQN、VPG、DDPG、TD3、SAC和PPO。这些算法可以用于解决离散或连续环境中的强化学习问题。使用这些算法需要一定的编程知识和数学基础，需要对神经网络和强化学习有一定的了解。 如果您想了解更多关于Vue.js和PyTorch的内容，可以参考以下资源： - Vue.js官方文档：https://v3.vuejs.org/ - PyTorch官方文档：https://pytorch.org/docs/stable/index.html
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值