深度强化学习主流算法介绍（二）：DPG系列

最新推荐文章于 2025-04-14 23:13:36 发布
最新推荐文章于 2025-04-14 23:13:36 发布
阅读量7.4k 收藏 59
点赞数 9
分类专栏： 深度强化学习 文章标签： 算法 深度学习 神经网络 深度强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lllzzzhhh2589/article/details/122655651
版权

之前的文章可以看这里

深度强化学习主流算法介绍（一）：DQN系列

相关论文在这里

图片

开始介绍DPG之前，先回顾下DQN系列

DQN直接训练一个Q Network 去估计每个离散动作的Q值，使用时选择Q值大的动作去执行（贪婪策略）

DQN可以处理每个离散的动作，对于连续动作空间上，虽然可以细分步长转化为更多的离散动作来做，但效果不好且训练成本倍增，由此学者们想到了Policy Gradient 确定策略梯度。

一、PG Policy Gradient

在这里插入图片描述

策略梯度算法是一种更为直接的方法，它让神经网络直接输出策略函数 π(s)，即在状态s下应该执行何种动作。对于非确定性策略，输出的是这种状态下执行各种动作的概率值，即如下的条件概率

图片

对于连续性动作来说，一般使用随机高斯策略，网络的输入是智能体当前状态，网络的输出的高斯策略的均值和标准差，网络是一个拟合网络。

无论是连续动作还是离散动作，在使用PG时，必须先弄清下面公式，离散动作和连续动作最大的不同就在于

图片

连续动作PG算法网络模型如下

在这里插入图片描述

<
最低0.47元/天 解锁文章
深度强化学习落地方法论算法选择：DQN、DDPG、A3C、PPO、TD3
丨汀、的博客
07-15 6963
深度强化学习落地方法论算法选择：DQN、DDPG、A3C、PPO、TD3
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-目标检测（论文篇五）
qq_36130719的博客
04-15 2090
检测的图像，首先设置输入网络大小，然后将滑动窗口按照一定步长对图像进行滑动，微小的卷积神经网络，其使用卷积核在卷积神经网络中对输入图像信息进行卷积处理，传统行人检测技术进行分析，然后介绍基于深度学习行人检测算法，为后续行人检测。出，能够很好的描述行人的边缘，因此广泛应用于行人检测。的静态图像，往往采用梯度直方图方法获取行人图像的局部特征信息，然后计算所有。个单元格的特征将以不同的结果出现在最后的向量中，所有的小单元特征信息将构成。目的成果，使得行人检测检测技术成为基于深度学习目标检测领域的研究热点。
强化学习算法
gghnb的博客
03-08 826
常见的策略有 ε-greedy 策略，即以 ε 的概率随机选择动作，以 1-ε 的概率选择具有最大Q值的动作。执行动作（Action Execution）：根据选择的动作，让智能体执行该动作，从当前状态转移到下一个状态，并获取环境的反馈，包括奖励（Reward）和下一个状态（Next State）。策略提取（Policy Extraction）：在训练完成后，基于学习到的Q值表格，可以通过选择具有最大Q值的动作作为最优策略，用于在实际应用中做出动作选择。
强化学习方法选择一般方法
最新发布
llijjianmmin的博客
04-14 700
在围棋中，基于模型的蒙特卡洛树搜索（MCTS）可以模拟未来多步走法，而无模型方法（如AlphaGo的策略网络）更依赖即时评估，可能忽略长远优势。：训练机械臂抓取物体时，无模型算法（如DDPG）可能需要数百万次尝试才能收敛，而基于模型的方法（如PILCO）可利用动力学模型加速学习。：在机器人避障任务中，基于模型的方法需精确建模障碍物运动和传感器噪声，而无模型方法（如DQN）直接通过碰撞反馈优化策略，开发更简单。：在高频交易中，市场状态瞬息万变，无模型算法（如SAC）可能无法快速适应新趋势，导致收益滞后。
强化学习（五）-Deterministic Policy Gradient (DPG) 算法及公式推导
weixin_42529756的博客
12-23 1642
强化学习连续性动作求解，使用DDPG，输出确定性动作a .使用两个actor和critic来改进模型训练
DPG算法
qq_42256930的博客
08-03 556
θμ。
强化学习-DPG
gaotihong的博客
05-25 699
DPG 包含两个网络： 策略网络：控制action运动，故为actor，根据状态s做出决策a； 价值网络：不控制action，基于状态s，给a打分，从而指导决策网络做出改进。Critic/ 策略网络：属于确定性函数。Theta是网络函数。 其输入为s，输出不是概率分布，而是一个具体的动作a。给定s，输出的a是确定的，没有随机性。本例中，a是二维的，自由度为2。注意，a，不是说有两个动作，而是有很多动作。 可以为实数，或者向量。 价值网络：w为参数。基于s评价a的好坏。输出为实数，对动作a
如何选择深度强化学习算法？MuZero/SAC/PPO/TD3/DDPG/DQN/等（2021-04）
u013250861的博客
01-03 5583
高清图片见搜索图中的网址的加粗部分ElegantRL、LilianWeng、EwanLi 策略梯度 就能找到这里的「模型」指：状态转移模型。离散状态空间下的状态转移模型可以用 状态转移矩阵去描述。
主流强化学习算法论文综述：DQN、DDPG、TRPO、A3C、PPO、SAC、TD3
te_sun的博客
04-03 2万+
强化学习自从15年开始DQN的成功应用得到了雨后春笋般成长，获得学术界极高的关注。在此之间，强化学习主要以model based模型为主，其特点为问题针对性强，需要大量的人为假设，且对于不同问题需要特定的模型套入。而现在开始model free的模型有极大的通用性，一个算法吃遍天下所有任务，因此也提高了之间的可比较性，也促成了学术界的井喷。主流的两个思路为Q-learning和Policy gra...
强化学习：DLML和AI的交集
AI天才研究院
07-09 1138
强化学习：DL、ML和AI的交集 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM 强化学习：DL、ML和AI的交集 1. 背
深度强化学习（DRL）简介与常见算法（DQN，DDPG，PPO，TRPO，SAC）分类
热门推荐
b_b1949的博客
02-13 6万+
简单介绍深度强化学习的基本概念，常见算法、流程及其分类（持续更新中），方便大家更好的理解、应用强化学习算法，更好地解决各自领域面临的前沿问题。欢迎大家留言讨论，共同进步。
强化学习:策略梯度算法(PG算法族)——手把手教你入门强化学习(八)
wxchyy的博客
03-17 817
上期我们解释了DQN算法，就是使用神经网络去模拟了状态动作价值函数，这期我们同样是使用神经网络，跟上期不一样的是，我们是去模拟策略函数。而PG方法同样有很多算法，这期我讲几个重要的经典算法，DPG和Actor-Critic算法。使用DQN算法，我们得到的并不是一个完整的策略，而是一个列表。机器人输入一个状态s，相当于将这个s作为索引，遍历Q(s,a)，通过比较得到一个估值比较高的a。每次都要通过查表获得一个动作，然后将一个个片段连接起来，才能构成一个完整的、貌似思维连贯的策略。
强化学习的算法比较
AI天才研究院
12-31 1377
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它通过在环境中执行动作来学习如何实现最大化的奖励。强化学习的主要特点是它可以处理不确定性和动态环境，并且可以在没有明确的目标函数的情况下学习。强化学习已经应用于许多领域，包括游戏AI、自动驾驶、机器人控制、推荐系统等。 在过去的几年里，强化学习的研究取得了很大的进展，产生了许多不同的算法和方法。这...
深度强化学习主流算法介绍（一）：DQN系列
lllzzzhhh2589的记录
01-19 1万+
​本系列深度强化学习算法介绍文章，旨在将上次组会内容分享到公众号上（准备组会肝的挺累想成果转化下），内容不会特别深入（毕竟太深的我还不会）。 主要是按动作空间的类型进行分类，包括离散动作空间、连续动作空间和混合动作空间，并按照时间发展脉络进行梳理，方便了解整个深度强化学习领域大致的发展方向和趋势，以及各个算法之间的递进关系。 图片转自https://zhuanlan.zhihu.com/p/342919579 如果想学习或利用其中的某些算法，建议仔细看论文原文，以及网上找更多的资料进行学习。 系列中提到的
【强化学习-Mode-Free DRL】深度强化学习如何选择合适的算法？DQN、DDPG、A3C等经典算法&Mode-Free DRL算法的四个核心改进方向
weixin_46234454的博客
05-10 1032
【强化学习-DRL】深度强化学习如何选择合适的算法？
深度强化学习算法（一）（附带MATLAB程序）
qq_35623594的博客
08-23 2381
深度强化学习（Deep Reinforcement Learning, DRL）结合了深度学习和强化学习的优点，能够处理具有高维状态和动作空间的复杂任务。DQN 将 Q 学习与深度神经网络结合，通过深度神经网络来逼近 Q 函数，并使用经验回放和目标网络来提高训练的稳定性和效率。深度 Q 网络（DQN）是一种将深度学习与 Q 学习结合的方法，用于处理具有高维状态空间的强化学习问题。深度强化学习是一个快速发展的领域，新的算法和技术不断涌现，推动着人工智能的发展。目标网络是一个延迟更新的网络，用来稳定训练过程。
深度强化学习算法（四）（附带MATLAB程序）
qq_35623594的博客
08-26 4690
DDPG 将 DPG 的思想与深度学习相结合，使用神经网络来近似策略和价值函数。策略网络（Actor Network）：用于生成动作。价值网络（Critic Network）：用于评估动作的价值。目标网络（Target Networks）：策略和价值网络的延迟副本，用于稳定训练过程。DDPG 通过使用确定性策略梯度和深度神经网络，能够有效地处理高维连续动作空间的强化学习任务。它结合了价值函数和策略函数的深度学习方法，以及稳定训练的目标网络和经验回放机制，为连续控制问题提供了一个强大的解决方案。
强化学习的主流算法：从基础到实践
AI天才研究院
12-27 1291
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它旨在让智能体(agent)在环境(environment)中学习如何做出最佳决策，以最大化累积奖励(cumulative reward)。强化学习的主要特点是通过与环境的互动学习，而不是通过传统的监督学习(supervised learning)或无监督学习(unsupervised learni...
深度强化学习算法总结（一）
Kevin384的博客
11-14 2250
本文参考《深度强化学习》一书，文中内容是总结各算法的主要思想和训练流程。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值