对强化学习的思考与总结-PPO-advantage

最新推荐文章于 2024-08-09 15:42:07 发布
最新推荐文章于 2024-08-09 15:42:07 发布
阅读量1k 收藏
点赞数 1
分类专栏： 强化学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42421591/article/details/127123164
版权

advantage优势值，是指该状态写做出该动作相比于其他动作而言有多好。在之前做强化学习的时候用了ppo2算法，由于是将多个智能体同时并行计算，需要对网上单个智能体的算法更新部分做一个改动，因此在之前自己写的算法中出现了错误：

在执行到需要更新的时候，计算优势函数使用了每个回合每一步的动作与奖励值，然后计算了总的Rt与At（advantage），然后计算损失函数的时候一直用的是这个Rt与At，但是实际上是计算智能体每一步的Rt与At，存成数组，然后在使用batch数据计算损失函数的时候，那个状态就要对应该状态智能体所有的At与Rt

在我的代码里面，At的shape应当是(peo_num, epoch_step),一个二维矩阵

别人的batch是指一个智能体在几轮运行结束之后从数据中取数据的batch，我的batch是指在每一轮数据中取的batch，其实差不多，都代表了某几次行动，只是在我的项目里，取得数据是peo_num个智能体的某几（peo_num，batch_size）

因此在运行的时候,actor_loss应该是由peo_num个actor_loss求mean而来（就是二维矩阵求mean），因此应当先按批处理 得到每一个智能体的actor_loss，再进行求平均

advantage标准化

我看了别人的代码说明，由于他们的代码在计算advantage的时候存在跨episode取值的问题，因此需要对advantage标准化，但是我存储数据的时候是按照回合来存储的，因此计算的时候也是安按照batch取回合，然后遍历回合计算回合里面每一步的At，因此我不存在需要标准化的问题。

advantage中的目标值与实际值

计算advantage的公式为：目标值函数V_target - 实际值函数V_real，其中V_real就是critic网络的输出值，V_target为 r +gamma * critic(next_state)，观察advantage计算公式就可以知道advantage就是一个TD-error.
 

源氏失去了我的激素
关注
专栏目录
深度强化学习调参技巧：以DQN、DDPG、TD3、PPO、SAC等算法为例
丨汀、的博客
07-14 1663
深度强化学习调参技巧：以D3QN、DDPG、TD3、PPO、SAC算法为例
AI架构师必知必会系列：强化学习在金融领域的应用
程序员光剑
12-05 295
在金融领域，如何制定最优决策以实现收益最大化和风险最小化一直是一个核心问题。传统的金融决策方法主要依赖于统计模型和专家经验,但在面对日益复杂多变的金融市场时,这些方法往往难以适应和优化。近年来,随着人工智能技术的快速发展,强化学习作为一种智能决策方法受到了金融领域的广泛关注。
强化学习策略梯度梳理-SOTA下（A2C，A3C 代码）
thousandsofwind的博客
07-27 857
强化学习策略梯度梳理-SOTA上策略梯度SOTAA3C （Asynchronous Advantage Actor critic）QAC -> A3C 策略梯度SOTA 这个部分主要参考周博磊老师的第九节的顺序 主要参考课程 Intro to Reinforcement Learning，Bolei Zhou 相关文中代码 https://github.com/ThousandOfWind/RL-basic-alg.git 参考到了pytorch a3c A3C （Asynchronous Adva
【深度强化学习】Advantage Actor-Critic
见见大魔王
12-15 2680
Advantage Actor-Critic 0 Actor and Critic Policy network 被称之为 Actor，是对策略函数 π(a∣s)\pi(a|s)π(a∣s) 的近似，用来控制 agent 的动作，记为 π(a∣s;θ)\pi(a \mid s ; \boldsymbol{\theta})π(a∣s;θ)； Value network 被称之为 Critic，是对状态价值函数 Vπ(st)V_\pi(s_t)Vπ​(st​) 的近似，用来评估当前状态的好坏，记为 v(s;w)
【强化学习】强化学习中的优势函数是什么？请能让初学者能理解的方式进行解释
最新发布
wq6qeg88的博客
08-09 954
优势函数（Advantage Function, A(s, a)）是对动作价值函数和状态价值函数的一个改进。它衡量了一个动作相对于其他可能动作的“优势”或“优势度”。用数学表达就是：) 是在状态 s 下采取动作 a 的价值。) 是在状态 s 下的价值（即，所有可能动作的加权平均回报）。
强化学习总结
taoyafan的博客
10-18 595
0 废话 这篇博客本是我之前自己总结，联系博士生导师时表明自己对强化学习的了解程度的。奈何导师不理我，但是我觉得我总结的还可以，想和广大朋友分享。由于把很多内容揉在了一起，都是按照自己的理解写出来的，而且当时时间比较紧，所以没写参考文献。文中主要写了我很多直观的理解，公式或推导可能不是特别严谨，另外还有很多算法没有写进来。由于我的理解可能会不全面或出现偏差，文中描述不到位或者是错误的地方还请指出...
强化学习中的优势函数（Advantage Function）
YHKKun的博客
03-29 1000
这样一来，优势函数 A(s,a) 描述了在状态 s 下执行动作 a 相对于仅按照当前策略行动的平均收益而言的增益或亏损。如果为负，则说明执行该动作相对较差。优势函数在策略梯度方法中扮演着重要角色，因为它可以帮助算法更准确地识别出哪些动作应当被鼓励，哪些动作应当被抑制，从而更有效地优化策略。在强化学习算法中，特别是那些基于策略梯度的方法（如REINFORCE、PPO、TRPO等），优势函数是一个非常重要的工具，因为它可以帮助算法更精确地定位应该优先改进哪些动作的选择，从而优化策略。
离线强化学习(Offline RL)系列1：离线强化学习原理入门
深度强化学习(DeepRL)探索博客
03-28 1万+
离线强化学习（Offline RL）作为深度强化学习的子领域，其不需要与模拟环境进行交互就可以直接从数据中学习一套策略来完成相关任务，被认为是强化学习落地的重要技术之一。本文详细的阐述了强化学习到离线强化学习的发展过程，并就一些经典的问题进行了解释和说明。
强化学习知识总结
qq_38907879的博客
11-02 587
概览 之前学习了李宏毅老师深度学习中，关于深度强化学习的相关知识，感觉虽然推导公式基本都已经了解了，但是印象却不是十分深刻，因此，在这里写下来用作复习。 本次内容主要关注的是model-free的部分，对于model-base的内容，在这次就不进行深入的探讨了。这个博客会首先从policy-base的方法开始讲起，然后过渡到value-base的方法。最后再讲讲比较著名的A3C是如何将两者结合起来...
深度强化学习算法的四个问题
布谷AI的专栏
04-06 1681
要想驾驭一个机器学习算法，我认为需要思考其四个方面：应用场景、目标变量、损失函数及学习过程。 深度强化学习也不例外： 应用场景 上图是强化学习的交互示意图，Agent给出动作(Action)，环境更新状态并返回奖赏(Reward)。 我认为只要能满足以下两点，就可尝试使用强化学习框架： a, 数据流满足示意图的这种交互方式，注意Reward可以有延迟； b, 可以清晰地表示Ac...
【强化学习-17】Advantage Actor-critic (A2C)
HsinglukLiu的博客
01-28 669
Advantage Actor-critic: A2C 本笔记整理自 (作者: Shusen Wang): https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0
强化学习——PyTorch 实现 Advantage Actor-Critic (A2C)
weixin_53598445的博客
07-26 3417
本博客的理论知识来自王树森老师《深度强化学习》，这本书写得简直太好了，强烈推荐，只是现在还在校对没出版，可能有些小瑕疵，但并不影响阅读和学习。
强化学习（四）- Advantage Actor-Critic 及贝尔曼方程推导（A2C）
weixin_42529756的博客
12-16 1021
贝尔曼方程公式推导，基于策略梯度的强化学习，advantage actor critc 原理理解及公式推导。actor-critc
GAE(Generalized Advantage Estimation) PPO
bbbeoy的专栏
06-28 4146
https://blog.csdn.net/zhkmxx930xperia/article/details/88257891
强化学习中的 AC（Actor-Critic）、A2C（Advantage Actor-Critic）和A3C（Asynchronous Advantage Actor-Critic）算法
QHCV的博客
11-18 2596
强化学习中的 A2C（Advantage Actor-Critic）算法是一种结合了演员-评论家（Actor-Critic）框架和优势函数（Advantage Function）的方法。A3C（Asynchronous Advantage Actor-Critic）算法是一种高效的强化学习方法，由 DeepMind 提出，主要用于解决决策问题。A3C 算法由于其高效性和适应性，在复杂的强化学习任务中被广泛应用，如游戏玩家、机器人控制等。然而，它的实现比 A2C 更为复杂，需要合理的资源分配和网络结构设计。
PPO(Proximal Policy Optimization)算法原理及实现,详解近端策略优化
weixin_41106546的博客
04-04 2万+
接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；与之对应的就是off-policy的策略，即想要训练的agent和与环境进行交互的agent不是同一个agent，简单来说，就是拿别人的经验来训练自己。举个下棋的例子，如果你是通过自己下棋来不断提升自己的棋艺，那么就是on-policy的，如果是通过看别人下棋来提升自己，那么就是off-policy的。
OPENAI Baeslines 详解（八）PPO2
Dr.Zee的博客
01-26 2912
layout: post title: “OPENAI Baeslines 详解（八）OOP2” date: 2019-07-05 excerpt: “并行环境的PPO” tags: [openai, baselines, code] comments: true OPENAI Baeslines 详解（八）PPO2 OPENAI 提供了2个版本的PPO PPO1 网上标注是(obsolet...
PPO算法（附pytorch代码）
热门推荐
qq_45889056的博客
04-21 3万+
PPO算法是一种强化学习中的策略梯度方法，它的全称是Proximal Policy Optimization，即近端策略优化1。PPO算法的目标是在与环境交互采样数据后，使用随机梯度上升优化一个“替代”目标函数，从而改进策略。PPO算法的特点是可以进行多次的小批量更新，而不是像标准的策略梯度方法那样每个数据样本只进行一次梯度更新12。PPO算法有两种主要的变体：PPO-Penalty和PPO-Clip。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值