关于判断强化学习方法是否为On-Policy

最新推荐文章于 2024-10-13 21:11:07 发布
最新推荐文章于 2024-10-13 21:11:07 发布
阅读量100 收藏
点赞数 2
分类专栏： # 领域 - 强化学习 人工智能 文章标签： 人工智能 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JustPeanut/article/details/139049068
版权

在强化学习中，算法是否为On-Policy，取决于算法的优化目标是否依赖行为策略的动作概率分布。若依赖，则该算法为On-Policy，往往需要使用重要性采样方法来增加样本效率。

具体而言，在一些优化目标依赖行为策略的动作概率分布的方法中，若直接使用由行为策略采集的样本进行梯度计算，其梯度的期望值实际上是依赖于行为策略的概率分布，这导致计算出来的梯度期望值并不是当前优化的目标策略的梯度期望值，目标策略将无法进行正确优化。

具体的例子后续有时间再做补充……

叶怀生
关注
专栏目录
强化学习中的off-policy 和on-policy
u013615687的博客
05-01 1万+
强化学习可以分成off-policy（离线）和on-policy（在线）两种学习方法，按照个人理解，判断一个强化学习是off-policy还是on-policy的依据在于生成样本的policy（value-funciton）和网络参数更新时的policy（value-funciton）是否相同。off-policy的经典算法有Q-learning，而on-policy的经典算法有SARSA算法，两者
深度强化学习 on-policy 和 off-policy
布谷AI的专栏
05-02 2438
当生成训练数据基于的Policy、目标值(target value)基于的Policy与当前学习的Policy网络参数一致时，为on-policy；否则为off-policy。
强化学习策略更新方法on-policy与off-policy(重要性采样，q-Learning，sarsa)
weixin_36378508的博客
09-09 277
Off-policy方法的典型例子是：Q-learning，DQN（Deep Q-Networks），DDPG（Deep Deterministic Policy Gradient），SAC（Soft Actor-Critic）等。On-policy方法的典型例子是：REINFORCE算法，Actor-Critic算法，PPO（Proximal Policy Optimization，近端策略优化）算法等。策略更新方法可以分为两类：On-policy（在线策略）和Off-policy（离线策略）。
强化学习的学习之路（六）_2021-01-06：强化学习中的On-policy和Off-policy、On-line和Off-line、Deterministic和Stochastic
热爱可抵漫长岁月
01-06 1809
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ on-policy 和off-policy 首先，我们来区分一下Behavior Policy(
强化学习课程笔记之policy-based方法
Ton的博客
08-11 5222
policy-based和value-based是RL中model-free的两大分支，关于value-based的课程笔记，点这里。本篇是关于policy-based的课程笔记。 课程笔记参考： 李宏毅笔记(github版)、叶强pdf、Morvan、刘建平博客园 论文阅读 Sutton强化学习书籍 常见的policy-based方法： REFORCEMENT A2C A3C DDPG TD3 Smoothie SAC系列(SQL) PPO系列(TRPO、DPPO) 为什么要学习policy-base
初探强化学习(10)强化学习中的一些术语（non-stationray，sample efficiency，planning和Learnin，Reward，off-policy和on-policy ）
qq_33328642的博客
03-23 3146
1. 关于stationray 参考博客。 Stationary or not 根据环境是否稳定、可以将强化学习问题分为stationary、non-stationary。 1.1 stationary 如果状态转移和奖励函数是确定的，即选择动作aaa后执行它的结果是确定的，那么这个环境就是stationary。这一般对应于medel-based RL。也就是已经训练了环境模型。 1.2 non-stationary 如果状态转移或奖励函数是不确定的，即选择动作aaa后执行它的结果是不确定的，那么这个环境
强化学习RL 03: Policy-based Reinforcement Learning
天狼啸月1990的博客
02-27 1137
用一个神经网络来近似策略函数π。
如何分辨on-policy和off-policy
HGGshiwo的博客
03-05 712
这里一个(s,a)对看成一个随机变量，服从均匀分布，因此分布和策略无关（至于为什么s,a是均匀分布，那个是算法自己假设的），因此采样的时候需要用到experience replay，使得不管什么策略采样得到的reward，都变成均匀分布的。如果目标函数中s,a的分布和策略相关的，那么一定是on-policy的，如果是策略无关的，那么一定是off-policy的。就是一个期望+一个类似正则项的东西，而非常明显看出来，这个期望是服从策略theta’的，也就是说s,a分布和策略相关，因此是on-policy的。
Policy Gradient and From On-policy to Off-policy
weixin_42479155的博客
10-29 547
REINFORCE: Monte Carlo Policy Gradient 蒙特卡洛可以理解为算法完成一个 episode 之后，再拿这个 episode 的数据来去 learn 一下，做一次更新。因为我们已经拿到了一整个 episode 的数据的话，也能够拿到每一个 step 的 reward，我们可以很方便地去计算每个 step 的未来总收益，就是我们的期望，就是我们的回报 GtG_tGt​ 。GtG_tGt​ 是我们的未来总收益，GtG_tGt​ 代表是从这个 step 后面，我能拿到的收益之和是
线性判别器LDA
qq_52421831的博客
10-10 1157
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 231
论文创新点，将注意力机制 和卷积 相结合。
骨架提取（持续更新）
最新发布
xiongmaowangd的博客
10-13 416
骨架提取是图像处理或计算机视觉中的一种技术，用于从二值化图像中提取物体的中心线或轮廓，通常称为“骨架”或“细化图像”。这一技术主要用于简化形状表示，同时保留物体的拓扑结构。这里我们强调了，是对二值化图像中进行提取。
文本区域分割系统源码＆数据集分享
lzmlzm89的博客
10-08 1373
数据集信息展示在现代计算机视觉领域，文本区域分割的研究日益受到重视，尤其是在处理文档图像和名片等场景时。为此，我们构建了一个名为“more2”的数据集，旨在为改进YOLOv8-seg模型提供丰富的训练素材，以提升其在文本区域分割任务中的表现。该数据集包含五个类别，具体包括“0”、“2”、“business-name-card”、“doc”和“wendang”，每个类别均具有独特的特征和应用场景，能够为模型的训练提供多样化的样本。
2024人工智能现状：未来已至，你准备好了吗？
weixin_41496173的博客
10-12 901
在科技飞速发展的今天，人工智能（AI）已经不再只是科幻小说中的概念。随着各大科技公司和研究机构在AI领域的投入加大，AI技术正在逐步渗透到我们生活的方方面面。2024年，AI不仅在科研上取得了巨大突破，在产业应用、政策法规、安全等方面也有了显著的进展。本文将带您深入探讨[《2024人工智能现状报告》（**State of AI Report 2024**）](https://www.stateof.ai/)中的关键内容，帮助您了解AI的现状及其未来趋势。
【YOLO学习】YOLOv4详解
m0_62881487的博客
10-09 1105
3. DIOU（Distance IOU）损失：DIOU 考虑到 GIOU 的缺点，也是增加了 C 检测框，将真实框和预测框都包含了进来，但是 DIOU 计算的不是框之间的交并，而是计算的每个检测框之间的欧氏距离，这样就可以解决 GIOU 包含出现的问题。concat：将两个特征图在通道数方向叠加在一起，原特征图信息完全保留下来，再对原特征图增加一些我们认为是较好的特征图，丰富了特征图的多样性，是在空间上对原特征图的增强，这样在下一次卷积的过程中我们能得到更好的特征图。
【分布式训练（2）】深入理解 DeepSpeed 的 ZeRO 内存优化策略 (三阶段的区别)
weixin_44212848的博客
10-12 383
在深度学习领域，分布式训练是一个重要的研究方向，它允许我们利用多个GPU来加速模型的训练过程。然而，随着模型规模的增大，单个GPU的内存限制成为了一个瓶颈。为了解决这个问题，DeepSpeed 提供了一种名为 Zero Redundancy Optimizer（简称 ZeRO）的技术，它通过不同的阶段（stage）来优化内存使用，从而使得训练更大的模型成为可能。
AI知识库如何提升服装电商的运营效率
LookLook同学的博客
10-08 898
探讨AI知识库在服装电商中的应用，提升管理效率与用户体验。
自然语言处理-语言转换
2301_77698138的博客
10-07 1383
自然语言处理中的语言转换方法涉及多种语言模型，包括统计语言模型、神经语言模型。其中统计语言模型通过分析大量文本数据，学习词汇和句子的概率分布，来预测给定上下文的下一个词或子词。但存在参数空间的爆炸式增长且需要考虑词与词之间内在的联系性。神经语言模型通过训练大量文本数据来学习词汇和句子的概率分布。但是也存在维度灾难的问题，所以需要引入词嵌入，将高维度的词表示转换为低维度的词。这些方法在不断发展和完善中，为自然语言处理领域的发展提供了有力的支持。
强化学习中的off-policy是什么意思
05-19
当行动策略与目标策略相同时，我们称之为on-policy(同策略)学习。而当行动策略与目标策略不同时，我们称之为off-policy(异策略)学习。 在off-policy学习中，我们通常使用重要性采样（importance sampling）来估计...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值