DDPG多目标优化，求助！

已于 2024-03-16 13:01:00 修改
阅读量122 收藏
点赞数 3
文章标签： python conda 机器学习 神经网络 pytorch 回归 深度学习
于 2024-03-16 12:55:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57630474/article/details/136760393
版权
作者在使用深度DeterministicPolicyGradient(DDPG)进行多目标优化时遇到问题：在训练过程中，随着步数增加，critic值先降后升，action输出接近边界值。寻求对这种反常现象的解释和指导。
摘要由CSDN通过智能技术生成

为什么我用DDPG去做一个多目标优化，然后训练步数是3000步的时候critic是下降的，action的值也有变化，可是步数越大critic就上升了，然后action全部输出边界值。有没有哪位大佬能指点一下。

dty2.0
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
DDPG的常见问题与解决方案：排查错误与优化技巧
禅与计算机程序设计艺术
05-14 1155
1. 背景介绍 1.1 深度强化学习的兴起与挑战 深度强化学习（Deep Reinforcement Learning，DRL）作为人工智能领域的新兴技术，近年来取得了显著的进展，在游戏、机器人控制、自然语言处理等领域展现出巨大的应用潜力。然而，DRL算法的训练过程往往面临诸多挑战，例如：
PSO算法（优化与探索四*DDPG与GAN）
`or 1 or 不正经の泡泡
06-23 1551
今天怎么说干的事情不多，一方面是因为看了一篇论文，关于RLPSO的是今年6月3日出来的新的文章《Reinforcement learning based parameters adaption method for particleswarm optimization》 里面提到了不少关于PSO的优化，然后提出了一种基于强化学习的PSO，通过预训练一个神经网络，输入当前的粒子状态，得到一组参数 w,c1,c2。然后做出调整，因为粒子群，包括遗传，EDA 等等对参数的设置是比较敏感，所以你懂的，用深度学习去搞
深度强化学习之策略梯度和优化(二) — DDPG
zhf的博客
03-27 1250
DDPG    之前讨论的应用DQN来玩Atari游戏。然而这些都是在离散环境下完成的， 其中具有有限个行为。考虑一个连续的环境空间，如训练机器人行走。在这些环境下，就不能应用 QQQ 学习了，这是因为贪婪策略在每个时间步都需要大量的优化。即使将这一连续环境离散化，也可能会失去一些重要特征，从而最终得到一个庞大的行为空间。在此情况下，很难保证收敛。    为此，使用一种称为行为者评论家的新...
TD3——DDPG的优化版本
qq_43865022的博客
04-28 4362
TD3是Twin Delayed Deep Deterministic policy gradient algorithm的简称，双延迟深度确定性策略梯度。从名字看出，TD3算法是DDPG的改进版本。 优化主要体现在三个方面： 1、Clipped Double_Q Learning：使用两个"Twin" 独立的Critic网络来估算Q值，并且在计算目标Q时选取较小的Q值来计算，有效的缓解值过高估计问题，大大提高算法的性能。 2、“Delayed” Policy Updates：Actor网络使用延迟学
DDPG
zzping01的博客
09-17 1801
文章目录DDPG(Deep Deterministic Policy Gradient)离散动作 v.s. 连续动作随机策略 v.s. 确定性策略DDPGTrick: target network + Replay MemoryExploration v.s. ExploitationTwin Delayed DDPG(TD3) “双”“延迟”深度确定性策略网络 DDPG(Deep Deterministic Policy Gradient) 离散动作 v.s. 连续动作 动作空间的可数性，很好理解。例如，
DDPG原理与代码实例讲解
禅与计算机程序设计艺术
08-03 607
DDPG原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 深度确定性策略梯度（Deep Deterministic
pytorch 实现DDPG多好的代码
君子不器
12-08 1423
import torch import torch.nn as nn import torch.nn.functional as F import numpy as np import gym import time ##################### hyper parameters #################### EPISODES = 200 EP_STEPS = 200 LR_ACTOR = 0.001 LR_CRITIC = 0.002 GAMMA = 0.9 TAU = 0
求助！！！！用MATLAB搭建MADDPG出现的错误
weixin_68934501的博客
05-04 525
For '输出端口 1' of 'MADDPGPVWT2/AgentA/Policy Process Experience/Policy Process Experience Internal', the 'stepImpl' method of。错误使用 rl.env.internal.reportSimulinkSimError。
ddpg源码
12-24
DDPG的核心思想是通过两个神经网络——Actor（策略网络）和Critic（价值网络）进行学习和优化。** **Actor网络负责生成策略，即根据当前环境状态选择一个动作。Critic网络则用来评估Actor网络生成的策略，提供一个...
ddpgone.rar_DDPG_DDPG TensorFlow
07-15
4. **Target Networks**：为了避免网络更新时的不稳定性，DDPG引入了目标网络，一个独立于主网络的副本，其参数会缓慢地追踪主网络的参数。这样可以稳定学习过程。 5. **Soft Update**：在目标网络的更新中，使用τ...
DDPG控制二阶滞后系统MATLAB实现
05-15
`ddpg_order.m`可能包含了实现DDPG算法的MATLAB代码，包括神经网络的定义、目标网络的软更新、经验回放缓冲区的管理以及训练过程中的动作选取和状态更新。 `ddpg.slx`文件是一个Simulink模型，该模型可能描绘了二阶...
DDPG控制水箱 MATLAB
05-15
在训练过程中，DDPG算法会与Simulink模型进行多次交互。每次迭代，Agent（即DDPG算法）会基于当前状态做出决策，Simulink会根据这个决策更新状态并返回新的奖励。这个奖励可以是水位与目标水位的偏差，或者包含了...
script_DDPG_scientistcle_
10-04
3. **优化器选择**：TensorFlow 2.0提供了多种优化器，如Adam、RMSprop等，DDPG中通常使用这些优化器分别更新Actor和Critic网络的权重。 4. **经验回放缓冲区**："MemoryandSumTree.py"文件可能包含了这一部分的实现...
强化学习：DDPG到MADDPG
热门推荐
彩虹糖的博客
12-10 1万+
本文主要关注于强化学习中基于策略梯度的方法。首先会简要介绍什么是策略梯度，什么是Actor-Critic算法，之后会重点讲述DDPG(Deep Deterministic Policy Gradient)算法，以及DDPG的多智能体版本：MADDG(Multi-agent Deep Deterministic Policy Gradient)。 策略梯度(Policy Gradient) 与基于策略梯度（Policy Based）的方法相对应的，是基于动作价值函数（Value Based）的方法。我们熟
如何在Python中使用IP代理
最新发布
IPIPGO的博客
08-23 370
通过以上步骤，你应该已经学会了如何在Python中使用IP代理。无论是单个代理IP、带认证的代理IP，还是批量使用代理IP，这些方法都能帮助你在实际项目中灵活应用。希望这篇文章对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言，我们会尽力为你解答。t=N7T8。
常见面试问题(Python)
jiao_mrswang的博客
08-23 169
5、GIL全局解释锁。
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 896
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
DDPG算法中目标actor网络的作用
04-21
DDPG算法中，目标actor网络的作用是为了稳定性训练。在每次训练中，我们将当前训练的actor网络的参数更新到目标actor网络中，然后用目标actor网络去预测下一步的动作，从而减少波动性和提高稳定性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值