强化学习模型-Priority Replay Buffer

最新推荐文章于 2025-03-29 22:05:32 发布
最新推荐文章于 2025-03-29 22:05:32 发布
阅读量1.5w 收藏 51
点赞数 9
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maqunfi/article/details/90897587
版权

论文：Schaul T, Quan J, Antonoglou I, et al. Prioritized Experience Replay[J] . Computer Science,2015

前言

1.首先提下Replay Buffer吧，Replay Buffer是最基本的样本收集再采样的过程，是之前在做DDQN实验中使用的一种样本利用方式，原因是当我们使用Q-learning算法进行在线方式学习时，会存在两个问题：

           [1]交互得到的序列存在一定相关性（因为在线学习往往就是得到一个就立马拿来训练 ）。而我们的机器学习模型对训练样本的假设是独立、同分布的，所以序列打破了这种独立同分布特性，因此效果不太好。

           [2]交互样本使用的效率过低。因为每次要使用一定的时间获取一个batch的样本才能完成一次训练，所以对样本的获取是有些慢的，而且在线学习方式往往会将学习后的样本直接丢弃，这样下来利用的效率不高。 针对这一问题提出下图这样的结构，可以发现就是之前一直使用哪种 设置‘样本回放缓存区’的架构，主要就包括样本收集和样本采样两个过程，一种有限量的保存和 均匀随机的采样。

2.注意这里还有个track点是必须均匀采样，也就是说这里会均匀从多个序列中采样轨迹，而不是只使用一次交互得到序列中的样本，这样可以减轻使用单一序列所导致的波动，从而可以很好地稳定训练的效果，同时可以将一份样本进行多次训练，从而提升样本利用率。      

3.traick

最低0.47元/天 解锁文章
深度强化学习经验回放(Experience Replay Buffer)的三点高性能修改建议：随机采样、减少保存的数据量、简化计算等
丨汀、的博客
07-15 4384
深度强化学习经验回放(Experience Replay Buffer)的三点高性能修改建议：随机采样、减少保存的数据量、简化计算等
强化学习Reinforcement Learning对抗性训练与环境适应性
AI天才研究院
07-23 869
强化学习Reinforcement Learning对抗性训练与环境适应性 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：强化学习，对抗性训练，环境适应性，Q-learning，深度强化学习，环境模拟
强化学习的学习之路（二十）_2021-01-20：Priority Replay Buffer
热爱可抵漫长岁月
02-25 2164
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ 接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQ
DDPG（3）_replay_buffer
qq_30626231的博客
06-18 3316
1、引用python库from collections import deque import random 2、定义类class ReplayBuffer(object): def __init__(self, buffer_size): self.buffer_size = buffer_size（以下全为Class ReplayBuffer中的函数）3、初始化函数 ...
《强化学习基础概念：四大模型与两大损失》
最新发布
2302_80236633的博客
03-29 865
策略是一个函数，它将状态映射到动作的概率分布。用数学符号表示为πa∣s\pi(a|s)πa∣s，其中sss表示状态，aaa表示动作，πa∣s\pi(a|s)πa∣s表示在状态sss下选择动作aaa的概率。策略决定了智能体在环境中如何行动，从而影响其获得的奖励和最终的学习效果。确定性策略（Deterministic Policy）：对于每个状态sss，策略π\piπ映射到一个唯一确定的动作aaa，即πsa\pi(s) = aπsa。
深度强化学习(DRL 5) - 优先回放DQN(Prioritized experience replay)
unber的博客
10-08 987
在经验回放中是利用均匀分布采样，而这种方式看上去并不高效，对于智能体而言，这些数据的重要程度并不一样，因此提出优先回放（Prioritized Replay）的方法。3，每次更新Q网络参数时，都需要重新计算TD误差 δ j = y j − Q ( s j , a j , w ) \delta_j = y_j- Q(s_j, a_j, w) δj​=yj​−Q(sj​,aj​,w)TD偏差越大，说明该状态处的值函数与TD目标的差距越大，智能体的更新量越大，因此该处的学习效率越高。
ReplayBuffer: Model-augmented Prioritized Experience Replay
wdnmdwsmsa的博客
04-18 1285
一篇关于RelayBuffer中sample ratio的文章，可以结合到model-free以及model-based的方法中提升算法的sample efficiency。
【RL】Replay-Buffer的核心作用是提高样本效率
墨门
03-02 206
ReplayBuffer
强化学习replay buffer
02-26
### 强化学习中的Replay Buffer #### Replay Buffer的作用与重要性 在强化学习中，尤其是基于价值的方法如DQN（Deep Q-Network），引入了经验回放机制即Replay Buffer。这一设计旨在解决两个核心挑战：打破数据间的...
强化学习精要-第二部分-蒙特卡罗、TD、DQN
Asber的博客
11-12 1250
蒙特卡罗法 之前我们讲过使用策略迭代、价值迭代和泛化迭代，但是算法的前提是需要知道环境的状态转移概率，即对环境的运作方式十分清楚（Model-based Problem），故可以用动态规划这样的算法。 但是很多时候，环境是未知的，不知道状态转移概率，故不能使用BELLMAN EQUATION对值函数进行更新 υπ(st)=∑atπ(at∣st)∑st+1p(st+1∣st,at)[rt+1+υπ(...
深度强化学习算法实践
AI天才研究院
10-12 552
深度强化学习（Deep Reinforcement Learning）是深度神经网络与强化学习相结合的方法，可以用于复杂的控制任务，能够在不访问环境模型的情况下学习到智能体对环境行为的最优策略，促进智能体的长期稳定增益。近年来深度强化学习方法已经得到了广泛的应用，并取得了良好的效果。本文将对深度强化学习的主要概念、方法及其相关技术进行深入浅出的剖析，从理论出发逐步探讨如何实现并训练深度强化学习算法。
bug：ImportError: cannot import name ‘PrioritizedBuffer‘ from ‘chainerrl.replay_buffer‘
weixin_40945354的博客
08-05 611
python train_dqfd.py /Users/ixxx/opt/anaconda3/lib/python3.7/site-packages/gym/logger.py:30: UserWarning: WARN: Box bound precision lowered by casting to float32 warnings.warn(colorize('%s: %s'%('WARN', msg % args), 'yellow')) Traceback (most recent cal.
为什么PPO不可以像DQN一样使用Replay Buffer？——强化学习
千羽的计算机视觉与机器人
10-12 2394
为什么PPO不可以像DQN一样使用Replay Buffer？——强化学习
强化学习&基于值6.2 | replay buffer经验回放
ASKCOS博客
03-17 2116
我们与环境进行互动并且在每个时间步，获得一个动作，状态，奖励，下个状态的元组，学完之后就丢弃，在下个时间步移到下个元组 我们将每个经验元组储存在这个缓冲区中，然后从中抽取一小批元组进行学习，因此我们能够从单个元组中多次学习规律。回顾罕见的状态并充分地利用经验；另一个改善是，过往的经验中每个动作A都以某种方式影响下个状态S，意味着一系列经验元组可能关系非常紧密，如果按照顺序学习会面临受到这种联系影响的风险，而借助replay buffer我们可以随机地从缓冲区取样，不一定必须是储存元组的同一顺序，这有助于打
算法学习（十一）—— Prioritized Experience Replay
星之所望的博客
03-02 877
基本思想： 使用包含更多信息的样本训练网络，如何快速的选出这些样本以及如何消除样本选择不均匀导致的参数更新错误是重点。 使用条件： 奖励密度不够高、 关键点： TD-error、sumtree和isweights TD-error： 其目的在于不用样本赋予的权重, sumtree：用于对不同TD-error的数据提供一个选择上的优先级。 抽样时, 我们会将 p 的总和除以 batch size, 分成 batch size 那么多区间, (n=sum(p)/batch_s.
论文理解【RL - Exp Replay】 —— 【PER】Prioritized Experience Replay
佚失的诗篇
03-29 2534
标题：Prioritized Experience Replay 文章链接：Curriculum Offline Imitating Learning 发表：ICLR 2016 领域：强化学习 —— Replay Buffer
基于Segment Tree实现Prioritized Experience Replay
昔风不起，唯有努力生存！
06-17 727
本博客主要针对tianshou（一个基于pytorch的强化学习开源平台）里的Prioritized Experience Replay进行说明，以备不时复查。 一、Prioritized Experience Replay简介 原始的TD类强化学习方法（例如，Ｑ学习）更新完参数立刻扔掉刚获得的经验，这样会造成两个问题： 前后用于学习的经验存在强相关性，未能保存样本的独立同分布条件，容易造成算法不稳定或者发散； 放弃了一些在未来有用的需要重新学习的一些稀有经验。 1992年Experience Re.
强化学习_DQN算法
m0_68462260的博客
09-26 200
在Q-learning 中，我们有一个Qtable，记录着在每一个状态下，各个动作的Q值。训练之后我们继续进行游戏，继续把新产生的数据添加到回放缓存里，每次都随机抽出一个 batch 大小的数据训练智能体，这样，以前产生的数据同样也能用来训练数据。另外一个叫 targetQ 网络，targetQ 自己并不会更新，也就是它在更新的过程中是固定的，用于计算更新目标。我们把(每一步的S，选择的a，进入新的状态s’，获得的奖励r，新状态是否为终止状态)作为一条条数据。一个是原来的Q 网络，用于估算 Q(S);
[强化学习总结4] DQN
BLUE BOX
10-30 2038
强化学习的目标通常是找到一个策略，使得智能体从初始状态出发能获得最多的期望回报，这个策略就是最优策略（optimal policy）。
优先深度强化学习网络模型
02-27
### 关于优先深度强化学习网络模型的研究与实现 #### 模型概述 优先深度强化学习（Priority Deep Reinforcement Learning, PDRL）是一种结合了优先级机制的深度强化学习方法。这种方法旨在优化训练过程中样本的选择策略，从而加速收敛并提升性能。在标准的深度Q网络（DQN）中，经验回放缓冲区中的所有经历都是平等对待的；而在PDRL中，则会根据某些准则赋予不同经历不同的权重。 #### 实现细节 一种常见的做法是在传统的DQN基础上引入重要性采样技术来调整损失函数计算时所使用的梯度估计值。具体来说，在每次更新神经网络参数之前，先从经验池里按照一定概率抽取一批次的数据用于反向传播算法的学习过程之中。这些数据的重要性由TD误差大小决定——即当前状态下的预测动作价值与实际获得奖励加上下一状态下最大可能的动作价值之间的差距。较大的TD误差意味着这个经历对于改进智能体行为具有更高的潜在贡献，因此应当给予更多的关注[^1]。 ```python import numpy as np from collections import deque import random class PrioritizedReplayBuffer(object): def __init__(self, capacity=10000, alpha=0.6, beta_start=0.4, beta_frames=100000): self.capacity = capacity self.buffer = [] self.position = 0 # Parameters for prioritized experience replay self.priorities = np.zeros((capacity,), dtype=np.float32) self.alpha = alpha self.beta_start = beta_start self.beta_frames = beta_frames self.frame_idx = 1 def push(self, state, action, reward, next_state, done): max_prio = self.priorities.max() if self.buffer else 1.0 ** self.alpha if len(self.buffer) < self.capacity: self.buffer.append((state, action, reward, next_state, done)) else: self.buffer[self.position] = (state, action, reward, next_state, done) self.priorities[self.position] = max_prio self.position = (self.position + 1) % self.capacity def sample(self, batch_size): if len(self.buffer) == self.capacity: prios = self.priorities else: prios = self.priorities[:self.position] probs = prios / prios.sum() indices = np.random.choice(len(self.buffer), batch_size, p=probs) samples = [self.buffer[idx] for idx in indices] beta = min(1.0, self.beta_start + self.frame_idx * (1.0 - self.beta_start) / self.beta_frames) weights = (len(self.buffer) * probs[indices]) ** (-beta) weights /= weights.max() self.frame_idx += 1 states, actions, rewards, next_states, dones = zip(*samples) return np.array(states), np.array(actions), np.array(rewards), \ np.array(next_states), np.array(dones).astype(np.int), \ np.array(weights).reshape(-1, 1), indices def update_priorities(self, batch_indices, batch_priorities): for idx, prio in zip(batch_indices, batch_priorities): self.priorities[idx] = ((prio + 1e-5)**self.alpha)[0] ``` 上述代码展示了如何构建一个带有优先级的经验重放缓冲器`PrioritizedReplayBuffer`类。此结构允许基于先前交互产生的TD错误程度对存储的记忆片段分配不同程度的关注度。随着迭代次数增加，β逐渐接近1，使得最终得到的是无偏见的重要性质评估结果[^2]。 #### 应用实例 在机器人领域内，Bousmalis等人提出的方案利用模拟环境和领域适配技巧提高了物理世界中机械臂执行抓握任务的成功率。他们发现当采用适当的方法处理来自虚拟世界的反馈信号并与真实场景相结合时，可以显著减少在线调参所需的时间成本以及硬件损耗风险。这种跨平台迁移能力同样适用于其他类型的自动化控制系统设计当中[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值