（RL强化学习）Actor-Critic

最新推荐文章于 2024-08-19 10:07:08 发布
最新推荐文章于 2024-08-19 10:07:08 发布
阅读量369 收藏
点赞数
分类专栏： 强化学习 文章标签： visual studio c++ linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KNIGHT_HOY/article/details/123912679
版权

文章目录

Actor-Critic

  • policy gradient 中accumulate reward较不稳定 分布较大

在这里插入图片描述

  • 一个方法是取accmulate reward的期望值

Actor-Critic

  • accmulate reward的期望值就是Qfunction出来的值 Q的定义：在state 采取 action知道游戏结束得到accmulate reward的期望

  • 将policy gradient 的两项用Q V替换就是AC

在这里插入图片描述

Advantage AC

  • 有两个network Q V 但是只需要估计一个network

  • 用V和state采取action得到的r表示Q

在这里插入图片描述

  • A2C流程

    • init一个action π

    • estimate出V（TD/MC）

    • 用V update π

    • 优化成π1

    • 更新V

    • …

在这里插入图片描述

  • Tips
    • actor和V 可以共享网络的前几个层（可能前几个维度都需要将image放到高维产生特征）

Asynchronous Advantage AC

  • 同时开很多“分身”（worker）

  • 最后每个“分身”汇总参数到global network

  • 每一个worker copy global network的参数 然后计算gradient

  • update global network
    在这里插入图片描述

Hoyyyaard
关注
专栏目录
强化学习之Actor-Critic
q19930928的博客
02-23 539
Actor-Critic Actor： l1 = tf.layers.dense(#输入一个state inputs=self.s, units=20, # number of hidden units activation=tf.nn.relu, kernel_i...
【强化学习】Actor-Critic
hey-yahei
05-20 455
原文链接：https://www.yuque.com/yahei/hey-yahei/rl-actor_critic 参考：机器学习深度学习（李宏毅） - Actor-Critic Actor with Critic 以policy-based的actor为主体，融入value-based的critic； 一般Policy Gradient的改进技巧在这里依旧同样适用 AC: Actor-Critic 回顾Policy Gradient，梯度的计算公式如下， ∇Rˉθ≈1N∑n=1N∑t=1Tn(∑t′=t
【RL】Actor-Critic
爱吃猫的小鱼干
10-12 551
强化学习的算法分为基于价值与基于策略两大类，这两大类在思想上是完全不同的。基于价值的算法目标是拟合隐藏在环境中的价值函数，而基于策略的算法则是不断地优化策略。所有强化学习的算法，基本的思想都不外乎于这两种。从这个角度上说，Actor-Critic算法本质上还是基于策略的方法，因为其算法的核心还是在不断地优化策略。虽然我们要训练价值网络，但是其目标也只是“辅佐”策略网络更好地训练。当我们学习VPG算法的时候，其理论与训练方式都与DQN完全不同，因为这本质上是两种不同的算法；而在下面的Actor-Critic算
大模型 | 通俗理解RLHF基础知识以及完整流程
老皮的博客
08-19 1992
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【RL】6.Actor-Critic
BevnWu的CSDN小站
11-05 270
RL-Ch6-Actor-Critic A2C：Advantage Actor-Critic A3C：Asynchronous Actor-Critic Advantage Function 我们在第四章Policy Gradient中从原始的梯度计算公式，引入baseline和时间步衰减的技巧后，得到Advantage Function，形式如下： Aθ(st,at)=∑t′=tTnγt′−trt′n−b A^{\theta}(s_t,a_t)=\sum_{t'=t}^{T_n}\gamma^{t'-t
Actor-Critic
b站：https://space.bilibili.com/36070349?spm_id_from=333.1007.0.0 知乎：https://www.zhihu.com/people/li-shao-zhuo-19
07-10 975
Actor-Critic
Actor-Critic原理+PPO算法推导
01-20
Actor-Critic 原理是强化学习中的一种重要方法，主要用于解决 Sequential Decision Making 问题。该方法结合了 Actor 网络和 Critic 网络，Actor 网络负责选择动作，而 Critic 网络评估状态的价值。 Actor 网络是一...
actor-critic.rar_Actor Critic_actor critic 网络_actor-critic_plain
07-14
Actor-Critic方法是一种在强化学习（RL）领域中广泛应用的算法，它结合了Actor和Critic两种策略。在RL中，目标是通过与环境的交互来最大化累积奖励。Actor负责生成动作，而Critic则负责评估这些动作的价值，提供反馈...
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
03-29
在深入探讨这份关于多智能体强化学习的研究之前，我们需要对强化学习（Reinforcement Learning, RL）有一个基本的理解。强化学习是一种机器学习范式，它通过让智能体（Agent）在环境中采取行动并接收反馈（奖励或...
【Hierarchical RL】分层演员-评论家（Hierarchical Actor-Critic ）算法代码
最新发布
10-08
Hierarchical Actor-Critic (HAC) 算法是一种用于分层强化学习（Hierarchical Reinforcement Learning, HRL）的算法，由Levy等人在2019年提出。HAC的目的是通过分层结构，将复杂任务分解为不同的时间尺度的子任务，...
RL策略梯度方法之(二): Actor-Critic算法
qq_38293297的博客
09-22 2278
本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。 文章目录原理解析策略梯度的直观解释Actor-Critic框架引出GAE算法实现算法流程代码实现 原理解析 AC算法框架被广泛应用于实际强化学习算法中，该框架集成了值函数估计算法和策略搜索算法，是解决实际问题时最常考虑的框架。 AC算法起源于策略梯度算法，因此在介绍AC算法时，我们先从策略梯度入手。（其实上篇已经介绍
【RL】Actor-Critic训练技巧
爱吃猫的小鱼干
10-12 1160
一 广义优势函数估计（GAE） 在VPG中，我们用的r(τ)r(\tau)r(τ)的均值来指引策略的更新，这是个环境给出的“客观”的值；而在AC算法中，我们企图用A_{w}(s, a)来指引梯度更新，但根据算法的设计，这个所谓的A_{w}(s, a)完全是用我们的神经网络算出来的，是“主观的”而不是“客观的”。如果我们算出的A_{w}(s, a)与真实值相差较远，那么对于训练策略网络就完全不能使得策略朝着更好的方向改变，我们的算法自然也无法取得好的结果。VPG的缺点在于，虽然r(τ)r(\tau)r(τ)是
基于人类反馈的强化学习(RLHF) 理论
消极的人永远是对的，积极的人选择勇往直前
05-07 2022
ChatGPT 背后的“功臣”——RLHF 学习笔记
强化学习：稀疏奖励（Reward Shaping，Curiosity，Curriculum Learning）
燕双嘤
09-10 4279
在做 Q-learning 的时候，会有一些随机性，让它去采取一些过去没有采取过的 action，那你要随机到说，它把螺丝起子捡起来，再把螺丝栓进去，然后就会得到 reward 1，这件事情是永远不可能发生的。那也许树叶飘动这件事情，是很难被预测的，对 智能体来说它在某一个 state 什么都不做，看着树叶飘动，然后，发现这个树叶飘动是没有办法预测的，接下来它就会一直站在那边，看树叶飘动。这个想法里面是有一个问题的，这个问题是某一些 state它很难被预测并不代表它就是好的，它就应该要去被尝试的。.....
强化学习4
weixin_42479155的博客
11-03 372
1 keyword A2C： Advantage Actor-Critic的缩写，一种Actor-Critic方法。 A3C： Asynchronous（异步的）Advantage Actor-Critic的缩写，一种改进的Actor-Critic方法，通过异步的操作，进行RL模型训练的加速。 Pathwise Derivative Policy Gradient： 其为使用 Q-learning 解 continuous action 的方法，也是一种 Actor-Critic 方法。其会对于
RL（十）Actor-Critic方法
weixin_42022175的博客
08-22 3561
目录1、算法原理2、算法流程3、Actor-Critic方法的优缺点 前面的文章我们讨论了基于价值与基于策略的算法来解决强化学习任务，每一种方法都有各自的优缺点。在基于策略的算法中我们会使用蒙特卡罗策略梯度算法来解决问题，它是使用episode序列的平均累计回报GtG_tGt​来估计动作值函数qπθ(s,a)q^{π_θ}(s,a)qπθ​(s,a)，虽然数据无偏，却带来就较大的噪声和方差。而Ac...
探索PyTorch-ActorCriticRL：强化学习的新篇章
gitblog_00057的博客
04-27 697
探索PyTorch-ActorCriticRL：强化学习的新篇章 去发现同类优质开源项目:https://gitcode.com/ 在机器学习领域，强化学习（Reinforcement Learning, RL）是一种极具潜力的技术，它使智能体通过与环境互动以优化其策略。PyTorch-ActorCriticRL是一个开源项目，由开发者vy007vikas创建，它提供了一种基于PyTorch实现...
Actor-Critic算法解析与PPO推导
"Actor-Critic框架是强化学习中的一种算法，它结合了Actor（策略网络）和Critic（价值网络）两个部分。该框架在PPO（Proximal Policy Optimization）算法中得到了广泛应用，这是一种高效的近似策略优化方法。本文将...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值