DDPG算法与输出边界值问题

已于 2022-04-08 18:58:23 修改
阅读量1.1k 收藏 7
点赞数 2
分类专栏： 强化学习 文章标签： 强化学习 机器学习
于 2022-04-08 18:52:33 首次发布
原文链接：https://zhuanlan.zhihu.com/p/342919579
版权

【强化学习】DDPG 算法实现案例
DDPG或TD3算法训练时总是输出边界值问题记录
强化学习调参技巧一： DDPG算法训练动作选择边界值_分析解决
sigmoid函数原理及饱和后梯度消失的问题

输出边界值最基本的解决办法有批标准化（model里面加入BN层），输入归一化。实在不行换算法。

如何选择深度强化学习算法？MuZero/SAC/PPO/TD3/DDPG/DQN/等（2021-04）
归一化和标准化是否改变数据分布的问题

爱学习的阿强
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习调参技巧一： DDPG算法训练动作选择边界值_分析解决
丨汀、的博客
07-08 1万+
原因： actor网络输出用tanh，将动作规范在[-1,1]，然后线性变换到具体的动作范围。其次，tanh激活区是有范围的，你的预激活变量（输入tanh的）范围太大，进入了tanh的饱和区，会导致梯度消失，而且tanh输出的自然就靠近边界了 解决方案： 1、网络的输入输出都是归一化之后的，buffer里的{s,a,r,s_}都是同一个数量级的， 2、修改reward能指导网络正确选择动作进行输出 输入的数据要标准化或者归一化，然后学习率调小一点。 建议换算法，DDPG改成TD3改动
matlab/simlulink强化学习环境搭建与智能体训练方法
热门推荐
weixin_43942325的博客
08-10 1万+
matlab/simlulink强化学习环境搭建与智能体训练方法 强化学习分为两个部分，智能体代理和与智能体交互的环境，即便代理可以用现成的模型调调参，但应用场景的数学模型依然是非常难搭建的部分，matlab和simulink的联合仿真无疑给Reinforcement Learning提供了一个非常强大的仿真平台，本篇以DDPG算法为例，详细讲讲matlab/simlulink强化学习环境搭建与智能体训练的具体步骤，及一些参数的设置和调整。 首先得有一个已经搭建好的simulink环境，至于simulink
DDPG调参
qq_40532069的博客
12-04 531
DDPG调参
DDPG或TD3算法训练时总是输出边界值问题记录
qq_31239371的博客
12-18 9203
最近在使用stable-baselines3框架中的DDPG算法时，发现一个问题：只要算法探索步数达到learning_starts，一开始学习，actor网络很快就会输出动作边界值，然后就保持不变，一直输出同样的边界值。后来换了TD3，发现也会出现这个问题，于是就上网查找解决方案，发现很多人都有这个问题，但是都没解决。下面我从自己的经验出发，结合网上其他人的分析，给出造成这个问题可能的原因以及解决方案： 1.如果你的actor网络输出使用tanh函数，那么一个很大的可能性就是预激活变量（输入tanh的）
DDPG输出边界值
yuuyy123的博客
09-20 353
我把a_boud改成了1，就是直接输出神经网络的结果，这个结果的范围为[-1,1]；然后在与环境交互阶段再乘上我的动作系数0.06，就是把动作的范围映射为[-0.06.0.06]。2.将tanh函数换成了relu函数，仍然输出边界值，说明可能不是tanh函数的问题；3.莫凡的程序中，对神经网络输出的动作值进行了处理，即。1.使用自己的场景，更换为DQN算法，发现算法快速收敛，证明场景没有问题；4.在储存经验的时候，储存的是没有乘上动作系数的a值。经过上面的修改，算法能够收敛。
深度强化学习 # DDPG
skysys的研究小屋
12-12 1854
Deep Deterministic Policy Gradient (DDPG) 前置基础：policy gradient DDPG是一种Actor-Critic结构。 基于PARL实现DDPG Reference https://www.bilibili.com/video/BV1yv411i7xd?p=18 https://mofanpy.com/tutorials/machine-learning/reinforcement-learning/intro-DDPG/ ...
DDPG算法
qq_44898314的博客
07-27 1027
在连续控制领域，深度确定性策略梯度（Deep Deterministic Policy Gradient）是比较经典的强化学习算法； Deep:使用神经网络；Deterministic:表示DDPG输出的是一个确定性动作，用于连续动作的环境；Policy Gradient：表示使用策略网络，REINFORCE算法每隔一个episode更新一次，但DDPG网络是每个step更新一次policy网络；...
ddpg_algorithm:ddpg算法的实现
03-28
DDPG（Deep Deterministic Policy Gradient）算法是一种强化学习方法，主要应用于连续动作空间的问题。它结合了DQN（Deep Q-Network）的深度学习技术与 Actor-Critic 方法的优点，能够处理高维连续动作空间的问题。...
FPGA二值图像边界提取算法实现
07-13
3 FPGA二值图像边界提取算法实现 图2中我们使用串口传图传入的是二值图像。FPGA源码：/*Module name: boundary_extracTIon.vDescripTIon: binary image boundary extracTIon*/`TImescale 1ns/1psmodule boundary_...
基于改进DDPG算法的机器人路径规划算法研究.pdf
08-11
根据给定文件信息，本文主要研究了基于改进深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法的机器人路径规划问题。以下是对该文档中提到的关键知识点的详细阐述： 1. DDPG算法介绍： DDPG是一...
粒子群算法的边界问题研究.pdf
09-29
《粒子群算法的边界问题研究》探讨的是粒子群优化算法（PSO）在解决实际问题时遇到的一个关键挑战——粒子运动超出搜索空间边界的问题。粒子群算法，源于Kennedy和Eberhart在1995年提出的概念，是一种基于群体智能的...
强化学习笔记6
cencen_binbin的博客
11-08 167
DDPG算法 基本概念： 离散动作与连续动作是相对的概念，一个是可数的，一个是不可数的。 在 CartPole 环境中，可以有向左推小车、向右推小车两个动作。在 Frozen Lake 环境中，小乌龟可以有上下左右四个动作。在 Atari 的 Pong 游戏中，游戏有 6 个按键的动作可以输出。 但在实际情况中，经常会遇到连续动作空间的情况，也就是输出的动作是不可数的。比如说推小车力的大小、 选择下一时刻方向盘的转动角度或者四轴飞行器的四个螺旋桨给的电压的大小等等。 对于这些连续的动作控制空间，Q-lear
【原创】强化学习调参
qq_39429669的博客
04-25 471
网络nan的原因_训练深度学习网络时候，出现Nan是什么原因，怎么才能避免？_weixin_39608559的博客-CSDN博客 DDPG或TD3算法训练时总是输出边界值问题记录_Coder_Jh的博客-CSDN博客_ddpg训练 DDPG算法中actor的网络总是输出边界值怎么办？ - 知乎 【论文复现】一步步详解用TD3算法通关BipedalWalkerHardcore-v2环境_深度强化学习实验室的博客-CSDN博客 ...
如何将在mujoco环境中实现DDPG输出的动作值映射到原本的动作空间
weixin_40902790的博客
08-11 2091
在gym的mujoco环境中测试DDPG算法时，会出现Actor网络输出的每个动作值在-1到1之间（如果输出层用的激活函数是tanh），但mujoco并不是所有的环境的动作值都是在[-1,1]之间，因此需要将输出的动作值映射到mujoco环境的动作区间。 这其实就是数据的映射问题。首先我们要知道如何将数据归一化映射到任意区间： 假设： a_n_max: 要映射的目标区间最大值 a_n_mi...
DDPG 算法
hezzfew的博客
11-06 1万+
DDPG 算法 1 离散动作 vs. 连续动作 离散动作与连续动作是相对的概念，一个是可数的，一个是不可数的。 在 CartPole 环境中，可以有向左推小车、向右推小车两个动作。在 Frozen Lake 环境中，小乌龟可以有上下左右四个动作。在 Atari 的 Pong 游戏中，游戏有 6 个按键的动作可以输出。 但在实际情况中，经常会遇到连续动作空间的情况，也就是输出的动作是不可数的。比如说推小车力的大小、 选择下一时刻方向盘的转动角度或者四轴飞行器的四个螺旋桨给的电压的大小等等。 对于这些连续
强化学习（DDPG，AC3，DPPO）
nakaizura
03-27 1万+
通过把Policy Based 和Value Based结合起来的Actor Critic，解决了Value Based如Q-Learning的无法解决连续和高维度问题，也解决了Policy Based的效率低速度慢的问题。但是同样的，想DQN一样，在使用神经网络进行值估计的时候，神经网络的相关性都太强了，梯度更新相互依赖，导致网络将会学不到东西。 有两种解决方法：DDPG和AC3。 DDPG A...
建筑业AI的崛起The Rise of AI and Machine Learning in Construction
最新发布
Climbman的博客
08-25 475
NSDT工具推荐建筑领域完全可以从机器学习和人工智能（AI）的出现中受益。作为 Autodesk BIM 360 Project IQ 团队的一员，我有幸参与 Autodesk 进军建筑机器学习领域。本文总结了这一领域的发展，并介绍了人们可以准备从这项技术中实现价值最大化的一些方法，包括对人工智能和机器学习在建筑中的一些应用及其潜在影响的广泛调查。这些流程正在各个领域发生变化，包括风险管理、进度管理、分包商管理、施工现场环境监控和安全等。
DDPG算法与原启发式算法的比较
07-28
DDPG算法（Deep Deterministic Policy Gradient）和原启发式算法是两种不同的强化学习算法，它们在解决连续动作空间的问题上有一些不同之处。 DDPG算法是一种基于策略梯度方法的算法，它结合了深度神经网络和确定性策略梯度算法。DDPG算法通过使用神经网络来近似值函数和策略函数，并且使用经验回放机制来提高采样数据的效率。该算法在训练过程中通过最小化动作价值函数的误差来更新策略网络和值函数网络，从而实现学习最优策略。 原启发式算法是一种基于规则或经验的算法，它通过预定义的规则或经验来决定下一步的动作。原启发式算法通常是手动设计的，可以根据问题的特性进行调整和优化。这些算法通常用于解决复杂问题，其中问题的状态空间和动作空间较大，难以通过传统方法进行求解。 在比较这两种算法时，可以考虑以下几个方面： 1. 算法复杂度：DDPG算法使用了深度神经网络进行近似，因此具有较高的计算复杂度。而原启发式算法通常是基于规则或经验的，不需要进行大量的计算，因此具有较低的计算复杂度。 2. 适用范围：DDPG算法适用于解决连续动作空间的问题，而原启发式算法通常适用于各种类型的问题，包括离散和连续动作空间。 3. 学习能力：DDPG算法通过反向传播算法来学习策略和值函数的参数，可以在训练过程中逐渐提高性能。而原启发式算法通常是基于经验和规则的，不具备学习能力。 综上所述，DDPG算法适用于解决连续动作空间的问题，并具有较强的学习能力，但计算复杂度较高。原启发式算法则适用于各种类型的问题，计算复杂度较低，但不具备学习能力。选择哪种算法取决于具体问题的需求和特征。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值