【RL】同策略(on-policy)与异策略(off-policy)

最新推荐文章于 2024-08-28 08:50:03 发布
最新推荐文章于 2024-08-28 08:50:03 发布
阅读量1.6k 收藏
点赞数
分类专栏： 笔记 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42292095/article/details/122156738
版权

文章目录


为了列表中相同类型好对比
先占坑
等开学再填坑

简介

根据更新Q值时使用的策略是既定策略（on-policy）还是新策略（off-policy）可以分为on/off policy学习

同策略on-policy

异策略off-policy

同策略、异策略区别

Sarsa：同策略时序差分控制

Q-learning：异策略时序差分控制

Tialyg
关注
专栏目录
RLHF 家族的奇巧魔改：On Policy 与 Off Policy 路线大PK
步子哥的博客
06-23 871
无论是 On Policy 还是 Off Policy，RLHF 家族的“魔改”之路都充满了奇思妙想。相信随着研究的深入，RLHF 技术将会在 Alignment 领域发挥越来越重要的作用。
Bourne强化学习笔记1：用简单例子说明Off-policy的思想与使用方法
linyijiong的博客
08-11 5386
本着ADEPT（Analogy / Diagram / Example / Plain / Technical Definition）的学习规律，本人给出直观理解、数学方法、图形表达、简单例子和文字解释，来介绍off-policy，而on-policy也将在本讲解过程中获得理解。( 在此假设大家已了解Markov Process Decision，动作概率，转移概率，Monte Carlo Met...
【RL】从on-policy到off-policy
qq_43338695的博客
02-11 785
1. 什么是on-policy，什么是off-policy 其实这个概念我们之前已经提到了，这里不妨再提一下： on-policy就是获取数据的动作和最终策略的动作是一致的，比如Sarsa。 off-policy就是获取数据的动作和最终策略的动作不一致，比如QLearning。 从这种定义我们也可以得知：我们的强化学习流程中涉及到两个关键流程：一个是选择用来获取数据的动作，另一个则是我们...
同策略(On-policy)与异策略(Off-policy)
qingmuluoyang的博客
07-20 569
深度学习；强化学习
强化学习中同策略和异策略的定义和区分
最新发布
civiljiao的博客
08-28 514
因为在更新策略的时候，会从经验回放中取出数据来对现在的策略进行更新，而这些数据是先前的策略生成的，也就是说，生成数据的策略和当前要更新的策略是不同的策略，即off-policy。因为在 on-policy 设定中，更新过程依赖于当前策略生成的数据，而实践中的批量更新技术能够有效地兼顾效率与策略更新的有效性。On-policy定义：在on-policy方法中，智能体从当前策略中学习，并根据从该策略中采样的数据更新策略。- 策略一致性：由于学习过程中使用的是和执行相同的策略，因此策略的评估更加准确。
RL中的on-policy与off-policy的一点理解
qq_48191249的博客
04-23 307
RL中的on-policy与off-policy的一点理解
RL经典mode/value/policy/step/on/off
dlphay的博客
09-30 895
什么是强化学习？ 强化学习是一类算法, 是让计算机实现从一开始什么都不懂, 脑袋里没有一点想法, 通过不断地尝试, 从错误中学习, 最后找到规律, 学会了达到目的的方法. 这就是一个完整的强化学习过程. 实际中的强化学习例子有很多. 比如近期最有名的 Alpha go, 机器头一次在围棋场上战胜人类高手, 让计算机自己学着玩经典游戏Atari, 这些都是让计算机在不断
【RL】异策略算法Q-Learning寻宝藏小例子
qq_42292095的博客
10-29 554
介绍 例子的环境是一个一维世界, 在世界的右边有宝藏, 探索者只要得到宝藏尝到了甜头, 然后以后就记住了得到宝藏的方法, 这就是他用强化学习所学习到的行为。 #先定义qtable 再定义如何去选择行为，再不断地更新 #表格是表示寻宝者在每一个位置的选择的概率 import numpy as np import pandas as pd import time np.random.seed(2) #产生伪随机数列 每次产生都是一样的 #seed( ) 用于指定随机数生成时所用算法开始的整数值，如果使
Off-policy evaluation的一些知识点
zz_ytj的博客
07-30 1941
最近做试验中遇到用off-policy数据估计策略性能提升的问题，估计的准确性直接影响到后面对这些数据的利用。然后就一不小心看到了一个RL的未接触过得领域----Off-Policy Evaluation（OPE）。发现有篇综述介绍的很详细，并且给出了benchmark，所以简单记录一下这个领域的一些概念和当前研究的进展及其分类，详细了解转[PAPER]。 OPE的定义 首先是off-policy evaluation问题的定义，直接来说就是利用behavior policy πb\pi_bπb​采样的数据
offline rl without off-policy evaluation
04-30
近年来，出现了一种名为“offline rl without off-policy evaluation”的新方法，它是一种无需策略评估的离线强化学习方法。这个方法的核心思想是利用不同策略下的经验来学习代理的行为价值函数。具体来说，它使用...
图解 RL/IL 问题范式（On-Policy、Off-policy、Offline/Batch、IL...）
佚失的诗篇
12-12 4455
图解常见强化学习、模仿学习框架
David Silver强化学习课程笔记（五）
微念的博客
10-15 7283
第五课：模型无关的控制         本文主要介绍模型无关的控制，包括同策略方法（On-Policy，也译作“在策略”）和异策略（Off-Policy，也译作“离策略”）方法，由于是模型无关，因此本文聊的是学习（learning），而不是规划（planning）。        1.简介         在第一课中我们说到了预测和控制的区别，这里就不再赘述，下面我们主要聊一下同策略方法和异...
近端策略优化（PPO）
Faker_boy的博客
07-20 4404
PPO
Easy RL - 3.表格型方法
wdn blog
10-30 158
强化学习 Easy RL书后习题及面试题
如何理解RL中on-policy与off-policy
热门推荐
yangshaokangrushi的博客
03-31 1万+
   on-policy 和off-policy是强化学习中出现最多的两个概念，也是最容易让初学者迷惑的概念之一。网上很多博客都是从是否使用当前policy和其它policy角度出发解释的，但是笔者认为这样解释诚然正确但是总给人感觉看过之后还是茫茫然。今天我们就从另外的角度探讨一下他们两者的区别与联系。    On-policy methods attempt to evaluate or imp...
强化学习入门教程（附学习大纲）
AI科技大本营
01-25 6285
零基础，想要入门或从事强化学习研究的同学有福了！CSDN学院特邀资深讲师为大家分享《强化学习深入浅出完全教程》从零基础开始入门强化学习，在教学的过程中，配合具体案例、代码演示，让大家可以一目了然，快速上手。主讲老师郭宪南开大学计算机与控制工程学院博士后，AI 教研室团队成员2009年毕业于华中科技大学机械设计制造及自动化专业，同年保送到中国科学院沈阳自动化研究所进行硕博连读，主
强化学习Sarsa，Q-learning的收敛性最优性区别（on-policy跟off-policy的区别）
开贰锤
07-10 1万+
on-policy：生成样本的policy（value function）跟网络更新参数时使用的policy（value function）相同。典型为SARAS算法，基于当前的policy直接执行一次动作选择，然后用这个样本更新当前的policy，因此生成样本的policy和学习时的policy相同，算法为on-policy算法。该方法会遭遇探索-利用的矛盾，光利用目前已知的最优选择，可能学不到最
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Tialyg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值