梳理确定性策略梯度，随机策略梯度，AC，DPG，DDPG之间的联系

最新推荐文章于 2024-08-07 06:30:00 发布
最新推荐文章于 2024-08-07 06:30:00 发布
阅读量8.9k 收藏 49
点赞数 9
分类专栏： 日记 文章标签： DDPG 随机梯度策略 确定性梯度策略 DPG AC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hjw756517/article/details/83862664
版权
本文介绍了随机策略和确定性策略的概念及其梯度公式，探讨了AC算法在确定性策略中的应用，即DPG算法。进一步讲解了深度确定性策略梯度（DDPG）如何结合深度学习，以及为解决数据相关性问题所采用的经验回放和独立目标网络技术。
摘要由CSDN通过智能技术生成

1、随机策略

1.1  随机策略公式为：

\[ \pi_{\theta}\left(a|s\right)=P\left[a|s;\theta\right] \]

这里的P是一个概率函数，就是说，在给定状态和参数的情况下，输出的的动作服从一个概率分布，也就意味着每次走进这个状态的时候，输出的动作可能不同。

1.2  随机策略梯度公式为：

 

\[ \nabla_{\theta}J\left(\pi_{\theta}\right)=E_{s\sim\rho^{\pi},a\sim\pi_{\theta}}\left[\nabla_{\theta}\log\pi_{\theta}\left(a|s\right)Q^{\pi}\left(s,a\right)\right] \]

表明，策略梯度公式是关于状态和动作的期望，在求期望时，需要对状态分布和动作分布进行求积分。这就要求在状态空间和动作空间采集大量的样本，这样求均值才能近似期望。

2、确定性策略

2.1  确定策略公式为：

最低0.47元/天 解锁文章
Demian_Neit
关注
专栏目录
DRL:DQN, PG, AC, DDPG, SAC概述
ZYunfei的博客
12-10 9811
深度强化学习 Deep Reinforcement Learning DQN DQN的出现事实上是解决了Q-learning中state数量的限制，在Q-learning中，无论是state的数量还是action的数量都没法做到很大，而DQN利用神经网络取代了Q-learning中的Q表从而解决了第一个问题：state数量的限制，这是一个novel 的ideal，2013年第一篇论文问世，随之在2015年nature刊登。 先给出一个算法框图，源自一位班级同学： 要是觉得上面这个同学的图过于眼花缭乱，看下
强化学习算法（四）——深度确定性策略DDPG
LongXinKou的博客
04-05 1248
文章目录1. 离散动作与连续动作的区别2. DDPG 1. 离散动作与连续动作的区别 （1）离散动作与连续动作 离散动作：动作空间有限。 连续动作：连续动作空间。 对于连续的动作空间，Q学习、DQN等算法没有办法处理。 （2）随机性策略和确定性策略 随机性策略：输入某一个状态s，采取某一个动作的可能型不是百分百。 ①一般的，在网络最后加上softmax层确保输出是动作概率。 决定性策略：输入某个状态s，会选择相同的动作。 ②一般可以在输出层加一层tanh，把输出限制到[-1,1]之间。将所得值再进行扩
AI学习指南机器学习篇-深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）
最新发布
俞兆鹏的博客
08-07 996
在本篇博客中，我们详细介绍了深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法的原理和结构，讨论了连续动作空间中的策略优化问题，并通过示例说明了DDPG算法在解决这些问题中的应用。DDPG算法通过结合深度神经网络和确定性策略梯度方法，能够有效地处理高维、连续动作空间中的强化学习问题。它为解决实际中许多复杂的控制问题提供了新的思路和方法。希望本篇博客能够帮助读者更好地理解DDPG算法，并在实际问题中应用它来解决连续动作空间中的策略优化问题。
强化学习之确定性策略网络和随机策略网络
weixin_43897187的博客
12-27 4225
强化学习当中策略可以分为随机策略和确定性策略两类。 1 确定性策略 确定性策略是输入一个状态s，策略会给出一个确定的动作a，可以用以下形式表示。u表示的是确定性策略。t时刻的状态写作st。t时刻在st状态下采取的动作为at。 实现时，只需要建立一个神经网络，输入状态，输出一个确定的动作就行。 使用了确定性策略的算法有：DDPG、TD3。 DQN中的目标策略一般也是贪婪的确定性策略。 2 随机策略 随机策略是输入一个状态s，输出的是动作分布。随机策略通常用π表示。对于st条件下，每一个动作都是以概率被选取
深度强化学习中的知识点-DQN、DDPG、AC-贪心算法
qq_45296693的博客
04-29 957
有关深度强化学习（DRL）的一些知识点，在研究通信领域中资源分配问题时学习的一知识，旨在解决资源分配和任务卸载问题，也就是边缘计算相关问题。
强化学习（DDPG，AC3，DPPO）
nakaizura
03-27 1万+
通过把Policy Based 和Value Based结合起来的Actor Critic，解决了Value Based如Q-Learning的无法解决连续和高维度问题，也解决了Policy Based的效率低速度慢的问题。但是同样的，想DQN一样，在使用神经网络进行值估计的时候，神经网络的相关性都太强了，梯度更新相互依赖，导致网络将会学不到东西。 有两种解决方法：DDPG和AC3。 DDPG A...
【从RL到DRL】深度强化学习基础（五）离散控制与连续控制——确定策略梯度方法（DPG）、使用随机策略进行连续控制
Vulcan_Q的博客
10-22 975
本文为深度强化学习基础的第五篇，介绍了从离散控制进阶到连续控制，分别介绍了确定策略梯度方法进行连续控制，以及使用随机策略进行连续控制
基础算法篇（七），确定性策略的DPG与DDPG
samurasun的博客
09-10 3222
我们在前面两章介绍了Policy Based范畴的经典策略梯度方法和基于AC框架的PPO方法，在上述方法中，策略梯度都为如下形式： ∇J(θ)=Eτ∼P(τ;θ)[R(τ)∑t=1T∇log⁡πθ(at∣st)]\nabla J\left(\theta\right)=E_{\tau\sim P\left(\tau;\theta\right)}\left[R\left(\tau\right)\sum_{t=1}^T\nabla\log\pi_\theta\left(a_t\left|s_t\right.\r
确定性策略梯度中的特征选择
03-27
在AC方法中，评论家使用时序差分（Temporal Difference, TD）学习进行策略评估，而演员则使用随机策略梯度（Stochastic Policy Gradient, SPG）或确定性策略梯度（DPG）进行策略改进。 根据策略梯度定理，当批评者...
【强化学习】确定性策略强化学习-DPG&DDPG算法推导及分析
开贰锤
12-07 1万+
一、DGP推导 本篇介绍确定性策略梯度算法，该算法主要用于off-policy（on-policy也能用）。在DQN等值函数估计算法中，最终策略的形式是需要对动作状态值函数取极大a=argmaxa′Q(s,a′)a={\rm argmax}_{a'}Q(s,a')a=argmaxa′​Q(s,a′)，这种方法只能用在有限的离散动作空间中，无法应用在较大离散空间或...
深度强化学习系列(16): 从DPG到DDPG算法的原理讲解及tensorflow代码实现
深度强化学习(DeepRL)探索博客
05-22 1万+
Atari 游戏所需的动作是离散的，且属于低维（只有少数几个动作），但现实生活中很多问题都是连续的，且维度比较高，比如机器人控制（多个自由度)等。虽然可以对连续性高维度的动作做离散型的处理，但是对于一个经过离散处理的大状态空间，使用DQN训练仍然是仍然是一个比较棘手的问题，因为DQN算法的核心思想是利用随机策略进行探索，对于高维度的来说，第一个问题是：模型很难收敛，第二个问题是需要在探索和利用之间进行协调
强化学习-随机策略梯度（Policy-Base）
10-10 1607
πθ(a∣s)=π(a∣s,θ)=Pr{At=a∣St=s,θt=θ}(1) \tag 1 \pi_{\theta}(a|s)=\pi(a|s,\theta)=P_r\{A_t=a|S_t=s,\theta_t=\theta\} πθ​(a∣s)=π(a∣s,θ)=Pr​{At​=a∣St​=s,θt​=θ}(1) 其中时刻ttt，环境状态为sss，参数为θ\thetaθ，输出动作aaa的概率为PrP_rPr​ 智能体与环境做一次回合的动作轨迹： τ={s1,a1,s2,a2,......,st,at,s.
强化学习进阶 第八讲 确定性策略方法
Bixiwen_liu的博客
04-20 8359
无模型的策略搜索方法可以分为随机策略搜索方法和确定性策略搜索方法。其中随机策略搜索方法又发展出了很多算法。可以说，差不多在2014年以前，学者们都在发展随机策略搜索的方法。因为，大家都认为确定性策略梯度是不存在的。直到2014年，强化学习算法大神Silver在论文《Deterministic Policy Gradient Algorithms》中提出了确定性策略理论，策略搜索方法中才出现确定性策略这个方法。2015年，DeepMind的大神们又将该理论跟DQN的成功经验结合起来，在论文《Continuou
DDPG（Deep Deterministic Policy Gradient）
//Katniss的征程
09-18 2330
Hi，这是第二篇算法简介呀 论文链接：“Continuous control with deep reinforcement learning.” 文章概述 公式理解 伪代码分析 试验结果分析 代码实现
深度学习（四十一）——深度强化学习（4）A2C & A3C, DDPG
antkillerfarm的专栏
03-02 9373
A2C & A3C Actor-Critic一般简称AC算法。针对它的一般用法参见《机器学习（三十五）》。 AC算法也可用于DRL领域，具体的做法和DQN类似： 一个Actor网络，用来近似V值。 一个Critic网络，用来近似Q值。 这里有个小技巧： Actor网络和Critic网络可以共享网络参数，两者仅最后几层使用不同结构和参数。（参见下图A3C的图） 针对AC的改进，衍...
强化学习：随机策略梯度，AC家族（AC，A2C，A3C）
燕双嘤
03-29 7098
1，随机策略梯度 1.1，简介 离散动作和连续动作： （1）要输出离散动作的话，我们就是加一层 softmax 层来确保说所有的输出是动作概率，而且所有的动作概率加和为 1。 （2）要输出连续动作的话，一般可以在输出层这里加一层 tanh。 tanh 的图像的像右边这样子，它的作用就是把输出限制到 [-1,1] 之间。拿到这个输出后，就可以根据实际动作的范围再做一下缩放，然后再输出给环境。 比如神经网络输出一个浮点数是 2.8，然后经过 tanh 之后，它就可以被限制在 [-1,1] 之间
在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架
热门推荐
caoyongsheng的博客
07-14 2万+
AC算法框架被广泛应用于实际强化学习算法中，该框架集成了值函数估计算法和策略搜索算法，是解决实际问题时最常考虑的框架。大家众所周知的alphago便用了AC框架。而且在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架。我们这一讲便总结下AC算法的发展并介绍目前最受关注的A3C算法和PPO算法。本讲的内容包括：1.1 策略梯度的直观解释1.2 Actor-Critic框架引出...
PADDLE④-①随机策略与策略梯度
x234230751的博客
04-17 105
轨迹：从某一个状态出发，通过策略让智能体输出动作选择及概率，后随机进入下一个环境（不可控），再重复上述操作。代码端经常通过softmax函数来让动作概率的总和变为一。对比：Q学习通过优化Q预测与Q目标的损失函数loss让Q预测不断接近Q目标。一个策略的好坏即他的期望回报大小，近似为所有实验轮的平均回报。一个episode的轨迹称为┏：{s，a，s，a，...}随机策略不会稳定输出某个动作，而会给出每个动作的概率值。（总回报值，=每个轨迹的回报累加）策略梯度则通过最大化一个策略的。Ⅰ：随机策略与确定策略。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值