1.深度强化学习------DDPG算法资料整理

已于 2022-04-06 21:40:12 修改
阅读量2.8k 收藏 57
点赞数 6
分类专栏： 深度强化学习 文章标签： 强化学习 人工智能 深度学习 算法
于 2020-03-18 18:42:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38587510/article/details/104948406
版权

近些天想用DRL在VREP中搞一个机械臂reach任务，首选了DDPG算法，算法运行效果有点不尽人意，actor的loss简直是要飞上天，于是陷入了漫长的调参过程，后续将考虑应用新的连续动作的控制算法或者对DDPG进行一系列的改进，不过这都是后面的事了。今天实在不想继续往下看了，整理一下近期看的一些关于DDPG的资料，方便日后查看，也方便同行们一起学习。

1. DDPG原理介绍

DDPG原理讲解BLOG①：这篇blog简明的讲出了DDPG的构成，并且解释了Actor和Critic的loss。
DDPG原理讲解BLOG②：这篇blog的讲解也比较细致，不过笔者更喜欢blog中的一些网络流程图，故此收藏。

2. DDPG中的trick

DDPG中的OU随机噪声的讲解

3. 基于PyTorch的ddpg的实现

Demo1
Demo2
Demo3
Demo4
Demo5
Demo6

4. DDPG调参

DDPG的调参过程是真的**，在知乎上看到有筒子调了一个多月，笔者也还挣扎在调参的苦海中。下面有两篇关于DDPG调参经验的blog
Blog①
Blog②

5. DDPG的改进方式
  • DDPG优先经验回放:这里实际上实在replay buffer做一些手脚，传统的训练过程是从replay buffer中随机抽取一些记忆，而prioritized experience replay在进行抽样时是按照memory的优先级进行抽样。利用TDerror计算每个memory的优先级，通过建立SumTree来实现这一过程。具体实现见该blog。 待尝试
  • DelayDDPG：改变更新网络的时机 待 尝 试 \color{red}{待尝试} 待尝试
  • TD3–Twin DelayDDPG
    TD3 Twin DelayDDPG①
    TD3 Twin DelayDDPG②
    (尝试了该方法，不知为嘛，程序一直停留在最初的随机收集经验的阶段不继续执行，未果，先mark一下，之后如果解决了再回来补充)
EdenGabriel
关注
  • 6
    点赞
  • 踩
  • 57
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
深度确定性策略梯度(DDPG)：连续动作空间的探索者
AGI通用人工智能之禅
04-27 126
强化学习 (Reinforcement Learning, RL) 已经成为人工智能领域中最具前景的研究方向之一，它关注的是智能体如何在与环境的交互中学习到最优策略，从而最大化长期累积奖励。传统的强化学习算法，如 Q-learning 和 SARSA，主要针对离散动作空间，即智能体在每个状态下只能选择有限个动作。然而，在许多实际应用中，智能体需要在连续的动作空间中进行决策，例如机器人控制、自动驾驶等。DDPG 作为一种高效的连续动作空间强化学习算法，在许多领域展现出了巨大的潜力。更复杂的网络架构。
一点关于强化学习算法选择的小建议（DDPG算法弊端）
最新发布
m0_58973042的博客
05-09 283
深度学习领域还是一个很不成熟的领域，算法都在飞速更新迭代中。笔者使用的训练环境是从非强化学习问题中移植过来的，需要自行设定奖惩函数，对新手来说没有经验参考或数值处理工作量太大，都会导致参数数量级不一致，混合进神经网络开始计算梯度的时候就会相互影响，导致不合理的权重更新，需要对输入的样本和奖励值进行归一化处理，至少也要使它们处在1左右的同一数量级。，更容易收敛，对调参要求小，适合新手使用。4、同样是critic-actor算法，，加载模型验证时也只输出边界值。1、经过笔者实践及前辈描述，
DDPG训练数据处理
qq2650326396的博客
11-24 700
DDPG训练数据 import matplotlib.pylab as plt def loadData(filePath): fr= open(filePath,'r+') lines = fr.readlines() length =len(lines) reword_curred_ep=[] qvalue=[] loss_c=[] loss_a=[] for line in lines: items = line.str
TD3——DDPG的优化版本
qq_43865022的博客
04-28 4311
TD3是Twin Delayed Deep Deterministic policy gradient algorithm的简称，双延迟深度确定性策略梯度。从名字看出，TD3算法是DDPG的改进版本。 优化主要体现在三个方面： 1、Clipped Double_Q Learning：使用两个"Twin" 独立的Critic网络来估算Q值，并且在计算目标Q时选取较小的Q值来计算，有效的缓解值过高估计问题，大大提高算法的性能。 2、“Delayed” Policy Updates：Actor网络使用延迟学
DDPG算法流程
weixin_43897187的博客
11-13 7457
背景 本文介绍DDPG具体是如何进行采样，然后如何使用采集的样本进行训练，以及更新网络的。这意味更加注重DDPG在实践中的一整套流程。 预备知识 因为这篇文章是站在一个全局的角度，讲解DDPG的具体使用。不会涉及到更新的具体细节，更新的公式。因此，要想了解具体的更新细节（比如，损失函数）可以查阅其它资料。 DDPG使用细节 DDPG网络结构由现实actor网络、目标actor网络、现实Q网络、目标Q网络这四个网络组成。 DDPG具体使用流程： 步骤1：先初始化现实Actor和现实Critic。然后把现实Ac
【强化学习】DDPG 算法实现案例
热门推荐
Gilgame的博客
06-25 1万+
问题描述与Demo介绍 完整代码： 如果觉得不错，麻烦点颗星哦！ 1.Demo介绍 在该demo中，我们将利用DDPG算法，使一个机械臂学会自己变换角度去抓“方块”,如下图，机械臂从最开始完全不知道如何去捕捉方块，到最后，每次都能精准的抓住方块。 2.算法介绍 其实理解 Deep Deterministic Policy Gradient （DDPG）最快的方法就是讲其分解开看：Deep Det...
DDPG算法详解
Sweeping_Robot的博客
04-19 2143
在RL领域，DDPG主要从：PG -> DPG -> DDPG 发展而来。
ddpg-aigym：具有深度强化学习的连续控制-在OpenAI Gym环境中实现的深度确定性策略梯度（DDPG）算法
02-06
Tensorflow中深度确定性策略梯度算法的实现（Lillicrap等人 。） 如何使用 git clone https://github.com/stevenpjg/ddpg-aigym.git cd ddpg-aigym python main.py 培训期间 一旦训练 学习曲线 InvertedPendulum-v1...
Python-来自三星公司的深度强化学习教程资料
08-11
**Python深度强化学习教程概述** 本教程源自三星公司，专注于深度强化学习（Deep Reinforcement Learning，DRL）在Python环境中的应用。深度强化学习是机器学习的一个分支，它结合了深度学习的复杂模型处理能力和...
人工智能-强化学习-DDPG-demo
03-05
这个"人工智能-强化学习-DDPG-demo"是一个演示项目，旨在帮助理解并应用DDPG算法。 DDPG算法是基于Actor-Critic框架的，由两个神经网络组成：Actor网络和Critic网络。Actor网络负责生成策略，即决定在每个时间步...
Python-深度强化学习Nanodegree
08-11
在这个名为"Python-深度强化学习Nanodegree"的课程或项目中，重点会放在使用Python编程语言来实现深度强化学习算法上。Python因其简洁易读的语法和丰富的科学计算库，如TensorFlow、Keras和PyTorch，成为了深度学习...
Python-关于深度强化学习的一系列博文的笔记本
08-11
深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一个热门话题，它结合了深度学习的表征能力与强化学习的决策制定策略，使得智能体能够在复杂的环境中学习最优行为。在Python中，DRL主要借助于...
强化学习-DDPG算法
weixin_46714700的博客
09-04 950
强化学习
详解DDPG算法：解决对大量的超参数、随机重启、任务环境敏感问题，完成月球着陆器，双足机器人demo、以及超参数调优教学
丨汀、的博客
07-15 4559
详解DDPG算法：解决对大量的超参数、随机重启、任务环境敏感问题，完成月球着陆器，双足机器人demo、以及超参数调优教学
【PyTorch深度强化学习】DDPG算法的讲解及实战（超详细 附源码）
showswoller的博客
11-27 1万+
【PyTorch深度强化学习】DDPG算法的讲解及实战（超详细 附源码）
强化学习DDPG：Deep Deterministic Policy Gradient解读
tostq的专栏
06-16 1333
DDPG是基于Q-learning的，其由于是取最大可能性的某个确定动作，因此可能会带来Maxinum偏差（简单理解为由于预估分布的存在，所以最大值一般都会偏移期望值），这个问题可能通过double Q-learning进行解决。Twin Delayed DDPG又被称为TD3算法..由于DDPG只能产出确定性动作，因此Soft Actor Critic (SAC) 实现产出概率性动作决策stochastic policy，SAC算法相比于TD3主要有两点不同。
莫烦Actor Crtic学习笔记
Rose Future M
08-06 903
Actor Critic 结合Policy Gradient（Actor）和Function Approximation（Critic）的方法。Actor：基于概率选取行为，Critic基于Actor选取的星期进行打分，Actor根据Critic的评分进行修改选行为的概率。 优势：可以进行单步更新，比传统的PL要快 缺点：取决于 Critic 的价值判断, 但是 Critic 难收敛, 再加上 Actor 的更新, 就更难收敛。 Actor 网络图： Actor网络的代码结构： class Actor(o
DDPG调参
qq_40532069的博客
12-04 509
DDPG调参
DDPG(deep deterministic policy gradient)——连续控制的深度确定性策略梯度
weixin_51602120的博客
02-22 2601
（DDPG）是当前最常用的连续控制方法. ”深度“表明其使用了深度神经网络，”确定性“表明其输出的是确定的动作
强化学习DDPG算法
10-25
强化学习DDPG算法是一种基于深度学习的强化学习算法，全称为Deep Deterministic Policy Gradient。它是一种Actor-Critic算法，其中Actor网络用于学习策略，Critic网络用于学习值函数。DDPG算法的主要特点是可以处理连续动作空间的问题，并且可以在高维状态空间中进行学习。DDPG算法的核心思想是使用一个Actor网络来输出动作，同时使用一个Critic网络来评估这个动作的价值。Actor网络和Critic网络都是基于深度神经网络的，可以使用反向传播算法进行训练。DDPG算法的优点是可以处理高维状态空间和连续动作空间的问题，并且可以在实际应用中取得很好的效果。 下面是DDPG算法的几个步骤： 1. 初始化Actor网络和Critic网络的参数。 2. 从环境中获取初始状态s，并使用Actor网络输出一个动作a。 3. 执行动作a，并观察环境的反馈，得到下一个状态s'和奖励r。 4. 将(s,a,r,s')存储到经验回放池中。 5. 从经验回放池中随机采样一批数据，使用Critic网络计算每个状态动作对的Q值，并使用Actor网络计算每个状态的动作。 6. 使用反向传播算法更新Actor网络和Critic网络的参数。 7. 重复步骤2-6，直到达到预设的训练次数或者达到预设的性能指标。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值