【强化学习】Deterministic Policy Gradient跟Stochastic Policy Gradient区别

最新推荐文章于 2022-12-01 20:01:10 发布
最新推荐文章于 2022-12-01 20:01:10 发布
阅读量3.5k 收藏 6
点赞数 1
分类专栏： 强化学习 强化学习薄荷糖 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37895339/article/details/75073160
版权

Deterministic Policy Gradient（DPG）
Stochastic Policy Gradient（SPG）
DPG是SPG的概率分布方差趋近于0的极限状态。
policy gradient 的思想是，沿着目标函数变大的方向调整policy的参数。

  • SPG
    policy是一个从state到action概率分布的映射。这里写图片描述，因此performance objective定义如下，包涵两次积分，其中一次为对policy space的积分。
    这里写图片描述
    SPG的梯度公式为：
最低0.47元/天 解锁文章
【强化学习】随机策略梯度算法（stochastic-policy-gradient）
开贰锤
12-04 1万+
策略搜索方法相对于值函数法有如下优缺点 优点： 直接策略搜索方法是对策略π\piπ进行参数化表示，与值函数方中对值函数进行参数化表示相比，策略参数化更简单，有更好的收敛性。 利用值函数方法求解最优策略时，策略改进需要求解argmaxaQθ(s,a)argmax_a Q_\theta(s,a)argmaxa​Qθ​(s,a)，当要解决的问题动作空间很大或者动作为连续集时，该式无法有效求解。 直接策...
【强化学习】确定性策略强化学习-DPG&DDPG算法推导及分析
开贰锤
12-07 1万+
一、DGP推导 本篇介绍确定性策略梯度算法，该算法主要用于off-policy（on-policy也能用）。在DQN等值函数估计算法中，最终策略的形式是需要对动作状态值函数取极大a=argmaxa′Q(s,a′)a={\rm argmax}_{a'}Q(s,a')a=argmaxa′​Q(s,a′)，这种方法只能用在有限的离散动作空间中，无法应用在较大离散空间或...
stochastic policy 和 Deterministic Policy 区别
war3gu的博客
05-28 1391
核心的区别其实很简单，最终的策略是学出 pie(s) = a 还是 pie(s, a) = p deterministic policy 缺少探索，容易出以下问题：2个一样的state（实际上不一样的，但是agent观察到的只是env的一部分，导致认为是一样的），输出同样的action，一个是正确，一个导致灾难性的后果。详情见，David Silver在视频中的迷宫例子。 ...
强化学习：Actor-Critic、SPG、DDPG、MADDPG
Hellsegamosken
12-01 2180
DQN 或者 DDPG 都不适用于多智能体环境，主要的问题是在训练过程中每个智能体的策略都在变化，因此从每个智能体的角度来看，环境变得十分不稳定。即对于同一个 observation，执行相同的 action 得到的 reward 不同，环境的真实状态可能天差地别，进而导致 q 值的估计很不稳定，也就不能给出 action 的正确梯度。 我们想要让 Critic 的评判更全面，就需要给它更多的信息，比如其他智能体的状态和动作等，让对于某个 agent 的环境变成完全可观察的。MADDPG 的思想就是每个
强化学习：随机策略梯度，AC家族（AC，A2C，A3C）
燕双嘤
03-29 7843
1，随机策略梯度 1.1，简介 离散动作和连续动作： （1）要输出离散动作的话，我们就是加一层 softmax 层来确保说所有的输出是动作概率，而且所有的动作概率加和为 1。 （2）要输出连续动作的话，一般可以在输出层这里加一层 tanh。 tanh 的图像的像右边这样子，它的作用就是把输出限制到 [-1,1] 之间。拿到这个输出后，就可以根据实际动作的范围再做一下缩放，然后再输出给环境。 比如神经网络输出一个浮点数是 2.8，然后经过 tanh 之后，它就可以被限制在 [-1,1] 之间
Deterministic Policy Gradient Algorithms
叶强的博客
11-09 2787
Deterministic Policy Gradient Algorithms
深度强化学习：（四）Policy Gradient
Warship_的博客
01-27 278
1、Policy Gradient算法
深度强化学习之Policy Gradient & Actor-Critic Model & A3C
I AM BACK
01-12 7390
policy gradient actor-critic A3Cpolicy gradient在之前的DQN是进行value function的approximation，是value-vased RL。这次要讲的是policy-based RL。对于RL的policy直接进行参数表示：比如可以输入state（一幅图片，一个feature vector），然后由带有参数的某种算法（比如linear
RL论文阅读【七】Deterministic Policy Gradient Algorithms
taoyafan的博客
06-30 1225
1废话 终于看到 PG 了，后边还要看 DDPG，TRPO，PPO，SAC，NAF，TD3，A3C等等，任重而道远啊。看完 model free 还想着重看看 model based，好多啊，不知道什么时候能接近前沿，努力吧，为了爱而奋斗。另外，越写越懒了，只做自己复习用，很多都省了，新手还是别看了，看不懂的。 这篇论文可以算是现在很多 PG 的鼻祖了，证明了 Deterministic PG...
手把手教你强化学习(十) 基于Stochastic Policy的深度强化学习方法
小小何先生的学习之旅
02-26 758
  在开始说基于Stochastic Policy的方法之前，我们需要了解一下Policy Gradient的方法。在Policy Gradient里面有一个非常重要的定理：Policy Gradient Theorem。 Theorem：   For any differentiable policy πθ(a∣s)\pi_{\theta}(a|s)πθ​(a∣s), for any of ...
【强化学习】SPG DPG DDPG（DPG3）
Flanoc的博客
12-30 959
数学公式警告 Policy Gradient KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲J(\pi_\theta)=&… ρπ(s′)=∫S∑t=1∞γt−1p1(s)p(s→s′,t,π)ds\rho^\pi(s') = \int_S \sum_{t=1}^ {\infty} \gamma^{t-1}p_1(s)p(s\to s',t,\pi)dsρπ(s′)=∫S​∑t=1∞
【强化学习】Deep Deterministic Policy Gradient(DDPG)算法详解
谁最温柔最有派
04-22 8490
1 DDPG简介 DDPG吸收了Actor-Critic让Policy Gradient 单步更新的精华，而且还吸收让计算机学会玩游戏的DQN的精华，合并成了一种新算法，叫做Deep Deterinistic Policy Gradient。那DDPG到底是什么样的算法呢，我们就拆开来分析，我们将DDPG分成’Deep’和’Deterministic Policy Cradient’又能被细分为’Deterministic’和’Policy Gradient’，接下来，我们开始一个一个分析。 1.1 Dee
强化学习基本概念
WeisongZhao
01-02 4546
一、概述 直观上来说，强化学习是智能体与环境不断交互，从而不断强化自己的决策能力的过程。 强化学习 强化学习 首先环境(Env)会给智能体(Agent)一个观测值(Observation)(有时也称状态State)，智能体接收到环境给的观测值之后会做出一个动作(Action)，环境接收到智能体给的动作之后会做出一系列的反应，例如对这个动作给予一个奖励(Reward)，以及给出一个新的观测值。 智能...
【强化学习】Policy Gradient算法详解
热门推荐
shura的技术空间
06-20 7万+
DeepMind公开课https://sites.google.com/view/deep-rl-bootcamp/lectures David Silver教程 http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html morvanzhou课程https://morvanzhou.github.io/tutorials/...
reinforcement learning，增强学习：Policy Gradient
mmc2015的专栏
10-25 6827
上节课和本节课内容 具体的：  Finite Difference Policy Gradient  Monte-Carlo Policy Gradient Actor-Critic Policy Gradient 区别和联系：   Advantages of Policy-Based RL: Better convergence properties Effective
强化学习的学习之路（六）_2021-01-06：强化学习中的On-policy和Off-policy、On-line和Off-line、Deterministic和Stochastic
热爱可抵漫长岁月
01-06 2117
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ on-policy 和off-policy 首先，我们来区分一下Behavior Policy(
stochastic noise and deterministic noise
ZhangPY的专栏
08-27 3287
在机器学习中，导致overfitting的原因之一是noise，这个noise可以分为两种，即stochastic noise，随机噪声来自数据产生过程，比如测量误差等，和deterministic noise，确定性噪声来自added complexity，即model too complex。这两种类型的造成来源不同，但是对于学习的影响是相似的
【强化学习】策略梯度policy gradient原理
zkq_1986的博客
05-22 2362
R_theta的梯度为什么是R(t^n)grad(p(a_t|s_t,theta)？首先，我们来解释下grad(p(a_t|s_t,theta)是怎么来的。先看下面的一个分类问题。从上可知，分类的损失函数采用交叉熵，最小化交叉熵相当于最大化log(y_i)再来看为什么要乘上一个R(t^n)。从下面可知，乘上一个R(t^n)，说明回报越大的状态动作对将被训练的次数越多，即对策略theta的影响更多。...
深度增强学习之Policy Gradient方法1
人工智能
04-19 2万+
1 前言 在之前的深度增强学习系列文章中，我们已经详细分析了DQN算法，一种基于价值Value的算法，那么在今天，我们和大家一起分析深度增强学习中的另一种算法，也就是基于策略梯度Policy Gradient的算法。这种算法和基于价值Value的算法结合而成的Actor-Critic算法是目前效果最好的深度增强学习算法。 那么关于Policy Gradient方法的学习，有以下一些网上
可以应用于连续动作的强化学习算法有哪些
最新发布
07-11
常见的可以应用于连续动作的强化学习算法有以下几种： 1. 深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）：DDPG是一种基于策略梯度的算法，使用了深度神经网络来表示策略和值函数。它可以直接输出连续动作，通过优化策略和值函数来学习最优策略。 2. 随机梯度上升策略优化（Stochastic Gradient Ascent Policy Optimization，TRPO）：TRPO是一种基于策略优化的算法，使用了近似策略梯度来更新策略。它通过限制每次更新的策略改进幅度，保证了每次更新后的策略在性能上有所提升。 3. 随机梯度上升优化（Stochastic Gradient Ascent Optimization，SAGA）：SAGA是一种基于值函数优化的算法，使用了近似值函数梯度来更新值函数。它通过不断迭代更新值函数，使其逼近最优值函数，从而得到最优策略。 4. 深度Q网络（Deep Q-Network，DQN）：DQN是一种基于值函数的算法，使用了深度神经网络来逼近动作值函数。它通过离线经验回放和目标网络的方式来稳定训练过程，并使用ε-贪婪策略来探索不同动作。 以上是一些常见的可以应用于连续动作的强化学习算法，每种算法都有其特点和适用场景，选择适合问题的算法可以提高学习效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值