强化学习&Actor-Critic8.2 | on-policy与off-policy

最新推荐文章于 2024-04-19 14:49:58 发布
最新推荐文章于 2024-04-19 14:49:58 发布
阅读量919 收藏
点赞数
分类专栏： 游戏AI 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43236007/article/details/115034094
版权
Q-learning是off-policy方法，仅需一步动作更新，但策略可能非最优；SARSA是on-policy方法，需两次动作且遵循同一策略，提供稳定性。off-policy学习利用replay缓冲区加速学习但可能不稳，而on-policy学习从当前策略数据中学习，易于收敛。
摘要由CSDN通过智能技术生成

在这里插入图片描述
Q-learning每次只需要执行一步动作得到(s,a,r,s’)就可以更新一次；由于a’永远是最优的那个action，因此估计的策略应该也是最优的，而生成样本时用的策略（在状态s选择的a）则不一定是最优的（可能是随机选择），因此是off-policy。基于experience replay的方法基本上都是off-policy的。

sarsa必须执行两次动作得到(s,a,r,s’,a’)才可以更新一次；而且a’是在特定策略π的指导下执行的动作，因此估计出来的Q(s,a)是在该策略π之下的Q-value，样本生成用的π和估计的π是同一个，因此是on-policy。

当使用off-policy学习，agent能够从很多不同方面的资源学习例如replay-buffer，学习地更快但是off-policy学习经常不稳定，神经网络学习过程会发散

当使用on-policy学习, agent只从自己当前使用的策略下产生的数据训练，学习稳定，神经网络容易收敛

ASKCOS
关注
专栏目录
订阅专栏
深度强化学习-Actor-Critic算法原理和实现 深度学习原理.pdf
04-13
Actor-Critic 算法是深度强化学习中的一种重要算法，结合了 Policy Gradient 和 Q-learning 两种算法的优点。下面我们将详细介绍 Actor-Critic 算法的原理和实现。 Actor-Critic 算法原理 Actor-Critic 算法的...
RL-赵-(十)-Actor-Critic02：Actor-Critic离线算法【将算法从on转为off：利用已有的分布为p1的采样{x}样本通过“重要性采样”来计算分布为p0时的期望值】
u013250861的博客
12-19 445
RL-赵-(十)-Actor-Critic02：Off-policy Actor-Critic算法。
【强化学习篇】on-policy 和 off-policy 的区别
Thanours的博客
09-13 1861
然而，一旦policy更新参数后，这时两个policy是不一样了，之前采样数据data则不能继续使用了，需要重新再采样数据，这样效率很低。从on-policy梯度和off-policy梯度对比，很明显的是off-policy跟环境互动的是 θ‘ ，而不是θ，θ‘ 采样出来的数据与待更新的θ没有关系。KL 散度并不是θ和θ‘参数的距离，而是行为上的距离，即给同一个state的时候，action几率分布之间的差距。这里有个假设，pθ(st)和pθ′(st)分布是差不多的，比值接近1，可以略去。
强化学习中的on-policy和off-policy解释
Sufail的博客
03-22 4943
强化学习中的On-policy和off-policy的区别
强化学习：Actor-Critic (AC)算法
qq_50086023的博客
06-28 1801
强化学习：Actor-Critic (AC)算法
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现
hhy_csdn的博客
07-09 6768
强化学习经典算法笔记(十五)：Soft Actor-Critic算法实现 算法简介 Soft Actor Critic，SAC算法是一种Off-policy算法，相比于PPO这种On-policy算法，sample efficiency有了提高，相比于DDPG及其变种D4PG，SAC又是一种随机策略算法。 SAC算法是在最大熵强化学习（Maximum Entropy Reinforcement Learning）的框架下构建起来的，目的是让策略随机化，好处是对于机器人控制问题非常友好，甚至可以在真实环境中使
Actor-Critic
weixin_44548214的博客
05-02 467
Actor-Critic（A2C A3CA2C \ A3CA2C A3C） 1、首先要搞清楚什么是actor-critic算法，它是怎么来的？ Actor-critic算法是一种policy based的on policy的model-free算法。和value based的DQN算法有着本质的不同。policy based算法是将policy参数化π(a∣s,θ)=Pr⁡{A...
【强化学习】强化学习数学基础：Actor-Critic方法
小哲的博客
03-15 1107
方法是一个非常重要的policy gradient methods。这一类方法强调的一种整合策略梯度和value-based方法的结构。什么是“actor”和“critic。
强化学习_基础补充
weixin_30446197的博客
07-09 75
1、Actor-Critic\TRPO\PPO算法都属于on-policy（类似重要性采样，old_pi还是自己的策略），DDPG是off-policy 2、on-policy数据用完就丢掉了,off-policy会用到经验回放（很大的存储上限，有收集样本和采集样本两个过程，采用均匀采样） 3、on-policy有一个缺点是交互序列导致前后相关性强,基于极大似然方法的机器学习模型要求...
强化学习，深度学习，Actor-critic.ppt
08-18
由于实验室要求每周PPT分享汇报，在这一过程中，需要花费时间去整理 强化学习，深度学习，Actor-critic基本知识点，耗时较长，因此将相关PPT上传，供有需要的游客查阅。
强化学习算法-基于python的强化学习actor-critic算法实现
06-02
在这个特定的项目中，我们聚焦于Python实现的Actor-Critic算法，这是一种结合了策略梯度和值函数更新的强化学习算法。 Actor-Critic算法在强化学习中占有重要地位，因为它同时利用了策略网络（Actor）和价值网络...
Connecting Generative Adversarial Network and Actor-Critic Methods.pdf
04-09
本篇文章的标题为"Connecting Generative Adversarial Network and Actor-Critic Methods.pdf"，描述部分同样重复了这一标题，而标签则明确指出了文章的主题涉及到强化学习、Actor-Critic方法和生成对抗网络（GAN）...
actor-critic.rar_Actor Critic_actor critic 网络_actor-critic_plain
07-14
Actor-Critic方法是一种在强化学习（RL）领域中广泛应用的算法，它结合了Actor和Critic两种策略。在RL中，目标是通过与环境的交互来最大化累积奖励。Actor负责生成动作，而Critic则负责评估这些动作的价值，提供反馈...
【学习强化学习】九、Actor-Critic算法原理及实现
weixin_42301220的博客
03-06 6292
文章目录参考资料1. Actor-Critic框架原理1.1 基本介绍1.2 原理分析1.3 Advantage Actor-Critic1. A2C引入2. A2C流程3. tips2. A3C2.1 A3C理解2.2 A3C运作机理2.3 算法大纲3. Pathwise Derivative Policy Gradient3.1 算法流程3.2算法相对于DQN的改变4. 练习1. A3C在训练时有很多的worker进行异步的工作。那么其具体的如何运作的呢？2. A3C是on-policy还是off-po
Off-policy Actor-critic in RL
upr_rom的博客
09-15 1121
DDPG, TD3, Soft Actor-critic
【强化学习的数学原理-赵世钰】课程笔记（十）Actor-Critic 方法
最新发布
qq_64671439的博客
04-19 1749
万字长文，环环相扣，详细介绍强化学习的 policy gradient 方法， Actor-Critic 方法和 DPG,DDPG方法，会持续更新
深度增强学习（DRL）漫谈 - 从AC（Actor-Critic）到A3C（Asynchronous Advantage Actor-Critic）
热门推荐
世事难料，保持低调
06-04 5万+
原文地址：http://blog.csdn.net/jinzhuojun/article/details/72851548 前言 之前在文章《深度增强学习（DRL）漫谈 - 从DQN到AlphaGo》扯了一些关于DRL的内容，但因为是以DQN为主线，其中大部分谈的是value-based方法。我们知道传统增强学习（Reinforcement learning, RL）中除了value-ba
强化学习总结
NuvoleWalker的博客
11-13 2330
强化学习：寻找一个合适的函数，将观察到的环境（environment）作为输入，目标是最大化回报（reward）（从经验中学习）
强化学习&基础1.1 | 智能体与环境交互过程
ASKCOS博客
04-14 7719
强化学习的过程是agent与环境不断交互的过程，从环境得到反馈，然后来改变自己的行动。 智能体首先接受环境的状态S0 智能体在S0的环境下采取行动A0 环境收到智能体的行动后从S0 变化到S1 环境对智能体的行为做出回报reward（可正可负，表示奖励或惩罚），R1 智能体收到奖励后对环境采取行动A1 环境状态接收到动作A1后由状态S1变化到S2，并且给予奖励R2 智能体与环境交互的过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ASKCOS

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值