深度强化学习 on-policy 和 off-policy

最新推荐文章于 2023-05-04 13:11:16 发布
最新推荐文章于 2023-05-04 13:11:16 发布
阅读量2.4k 收藏 7
点赞数 2
分类专栏： 强化学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huibiannihao/article/details/105565381
版权
本文重点探讨了深度强化学习中的on-policy和off-policy策略。on-policy学习中，当前学习策略、行为策略和目标策略参数一致，如A2C、A3C等。而off-policy学习中，行为策略或目标策略与学习策略参数不同，例如DQN、DDPG等，由于使用经验回放缓冲区，使得样本数据策略与学习策略参数不一致。
摘要由CSDN通过智能技术生成

目录

重点

on-policy

off-policy

重点

考查三个Policy的一致性：

  1. 当前正在学习的Current Policy；
  2. 生成训练数据时基于的Behavior Policy；
  3. 目标值即target value基于的Target Policy，Target Policy这个不一定有，取决于近似方法，比如只采用即时奖赏r近似的目标就没有参数。

判断Policy是否一致，就是看网络的参数是否一样。

on-policy

       所有的Policy参数均一致，比如A2C、A3C、TRPO、IMPALA、PPO、PG等。

off-policy

        只要生成训练数据sample data的policy参数或目标网络的policy与当前正在学习的policy的网络参数不一致，
       就是off-policy, 比如DQN、DDQN、Dueling DQN、

最低0.47元/天 解锁文章
布谷AI
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度强化学习off-policy类算法多进程加速训练实现(以TD3为例)
ZYunfei的博客
05-17 1530
思路 与on-policy类算法的多进程加速不同，off-policy算法的子进程虽然也是用来探索环境，但是它收集到的数据可以随时添加进主进程的buffer中。另外，off-policy算法子进程探索环境的策略也不必与主进程等待训练的策略保持完全一致（off-policy名称由来）。听起来off-policy的多进程实现要更容易一些，但是实际做起来却更困难。 实现框架：一个主进程+n个子进程+1个主进程的子线程 功能： 主进程：训练网络，评价网络； n个子进程：探索环境，收集数据传回主进程放入主进程的bu
强化学习调参经验大集成：TD3、PPO+GAE、SAC、离散动作噪声探索、以及Off-policy 、On-policy 算法常见超参数
最新发布
丨汀、的博客
07-15 5550
强化学习调参经验大集成：TD3、PPO+GAE、SAC、离散动作噪声探索、以及Off-policy 、On-policy 算法常见超参数
On-Policy 强化学习与 Off-Policy 强化学习
weixin_37410657的博客
05-04 2503
On-Policy 强化学习和 Off-Policy 强化学习是强化学习中两种重要的学习方法。它们的主要区别在于智能体学习策略的方式。On-Policy 学习遵循当前策略进行学习和执行，而 Off-Policy 学习则使用不同的策略进行学习和执行。这两种方法各有优缺点，适用于不同的应用场景。无论是 On-Policy 还是 Off-Policy 学习，强化学习的目标都是找到一个最优策略，使得智能体在长期内能够获得最大的累积奖励。
On-Policy 深度强化的训练经验——Google Brain
Nemo的博客
05-13 702
谷歌大脑On-Policy的实验技巧大推荐！ICLR2021高分论文。
（深入理解）强化学习中on policy和off policy的区别
qq_43391414的博客
12-02 1741
前言 这两个东西区别我个人感觉还挺玄学的。看到有很多说法，但是却感觉说的不是一个东西。 就比如有人总是喜欢把off policy分为行为策略和目标策略，说什么行为策略用来探索，目标策略用来学习。但是这个明显是DQN的特征（没学过DQN的有点吃亏哈） 所以，甚至官方描述也是用这样的： On-policy: The agent learned and the agent interacting with the environment is the same. 行为策略和目标策略一样 Off-poli.
为何DDPG是off-policy算法？
thebeautyofmath的博客
04-15 1307
用于求解动作价值函数的Bellman方程可以表示为： Qπ(st,at)=Ert,st+1∼E[r(st,at)+γEat+1∼π[Qπ(st+1,at+1)]] Q ^ { \pi } ( s _ { t } , a _ { t } ) = E _ { r _ { t } , s _ { t + 1 } \sim E } [ r ( s _ { t } , a _ { t } ) + \gamma E _ { a _ { t + 1 } \sim \pi } [ Q ^ { \pi } ( s _ { t
DQN算法概述与其Python代码表示
Quasar
08-13 6154
算法描述 DQN算法是强化学习算法的一个改进版本，他将深度学习与强行学习结合起来。相比于之前的Q Learning算法，它去除了Q Table，并引入了经验重现内存（Replay Memory）和神经网络来作为以往经验的存储方式和决策方式。 DQN算法中使用ε贪婪算法选择action，也就是在ε的概率下进行探索，随机选择action；在1-ε的概率下使用神经网络决策获得下一步的action。ε贪婪...
强化学习中的on-policy和off-policy解释
Sufail的博客
03-22 4828
强化学习中的On-policy和off-policy的区别
强化学习中的off-policy 和on-policy
u013615687的博客
05-01 1万+
强化学习可以分成off-policy（离线）和on-policy（在线）两种学习方法，按照个人理解，判断一个强化学习是off-policy还是on-policy的依据在于生成样本的policy（value-funciton）和网络参数更新时的policy（value-funciton）是否相同。off-policy的经典算法有Q-learning，而on-policy的经典算法有SARSA算法，两者
DQN——Deep Q Network
weixin_44548214的博客
05-01 1719
1、什么是DQN？ DQN是通过多个Q-learning来训练卷积神经网络从而实现高维输入任务的策略控制。神经网络的返回值是Q(s, a)。 2、DQN是value based 还是policy based？ 是value-based，DQN是根据估计的动作价值函数选择动作的。而policy based是参数化策略然后最大化性能指标的办法。 3、DQN是on-policy还是off-policy?...
强化学习中on policy和off policy的区别-深度理解
weixin_39490300的博客
03-03 2752
深入理解强化学习中on policy和off policy的区别
增强学习中的on-policy和off-policy的区别
mmc2015的专栏
02-27 2万+
首先说下观点： 你估计policy或者value-function的时候，需要用到一些样本，这些样本也是需要采用某种策略（可能固定、可能完全随机、也可能隔一段时间调整一次）生成的。那么，判断on-policy和off-policy的关键在于，你所估计的policy或者value-function  和  你生成样本时所采用的policy  是不是一样。如果一样，那就是on-policy的，否则是
on-policy与off-policy；确定性策略与随机策略
普通攻击往后拉的博客
06-22 5496
1 on-policy与off-policy 之前一直搞不清楚on-policy和off-policy是什么区别，在查阅了各种公众号和博客、论坛之后，决定总结一下on-policy和off-policy的区别。 首先，如下图所示，on-policy和off-policy都是on-line强化学习策略更新中的一种。on-line和off-line最明显的区别就是，在一次learn policy之后，on-line 2 确定性策略和随机性策略 确定性策略[公式]为一个将状态空间[公式]映射到动作空间[公式]的
【强化学习】中Q-learning,DQN等off-policy算法不需要重要性采样的原因
开贰锤
12-07 4652
由于Q-learning采用的是off-policy，如下图所示 但是为什么不需要重要性采样。其实从上图算法中可以看到，动作状态值函数是采用1-step更新的，每一步更新的动作状态值函数的R都是执行本次A得到的，而我们更新的动作状态值函数就是本次执行的动作A的Q(S,A)Q(S,A)Q(S,A)。就算A不是通过greedygreedygreedy策略选择的（是通过ϵ−greedy\epsilon...
DDPG
zzping01的博客
09-17 1810
文章目录DDPG(Deep Deterministic Policy Gradient)离散动作 v.s. 连续动作随机策略 v.s. 确定性策略DDPGTrick: target network + Replay MemoryExploration v.s. ExploitationTwin Delayed DDPG(TD3) “双”“延迟”深度确定性策略网络 DDPG(Deep Deterministic Policy Gradient) 离散动作 v.s. 连续动作 动作空间的可数性，很好理解。例如，
RL策略梯度方法之(三): Off-Policy Policy Gradient算法
qq_38293297的博客
10-04 1567
本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。 文章目录原理解析算法实现算法流程代码实现 原理解析 算法实现 算法流程 代码实现
深度增强学习（DRL）漫谈 - 从AC（Actor-Critic）到A3C（Asynchronous Advantage Actor-Critic）
热门推荐
世事难料，保持低调
06-04 5万+
原文地址：http://blog.csdn.net/jinzhuojun/article/details/72851548 前言 之前在文章《深度增强学习（DRL）漫谈 - 从DQN到AlphaGo》扯了一些关于DRL的内容，但因为是以DQN为主线，其中大部分谈的是value-based方法。我们知道传统增强学习（Reinforcement learning, RL）中除了value-ba
强化学习中 on-policy与off-policy 的理解；如何区分on-policy 与 off-policy；RL更新策略、policy结构总结
strawberry47的博客
07-07 4587
有趣的解释：古时候，优秀的皇帝都秉持着“水能载舟 亦能覆舟”的思想，希望能多了解民间百姓的生活。皇帝可以选择通过微服出巡，亲自下凡了解百姓生活（On-policy），虽然眼见为实，但毕竟皇帝本人分身乏术，掌握情况不全；因此也可以派多个官员去了解情况，而皇帝本人则躺在酒池肉林里收听百官情报即可（Off-policy）。Q-learning vs. Sarsa 二者都是基于TD的强化学习策略，但是前者是off-policy（有目标网络和行为网络），后者是on-policy。on-policy与off-polic
on-policy和off-policy区别
03-17
on-policy和off-policy是在强化学习中常见的两种方法。 on-policy方法是在当前策略的基础上进行学习，也就是说，学习和行动是同时进行的。在这种方法中，智能体会根据当前策略产生的经验来更新策略。 off-policy...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值