强化学习算法学习汇总笔记 (二) — Actor Critic、DDPG、A3C、

最新推荐文章于 2024-09-23 17:39:44 发布
最新推荐文章于 2024-09-23 17:39:44 发布
阅读量9.6k 收藏 53
点赞数 5
分类专栏： Reinforcement Learning 文章标签： Actor Critic DDPG A3C 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hansry/article/details/80829127
版权

文章目录

一. Actor Critic

1.基本概念
Actor Critic 为类似于Policy Gradient 和 Q-Learning 等以值为基础的算法的组合。

a. 其中Actor 类似于Policy Gradient，以状态s为输入，神经网络输出动作actions，并从在这些连续动作中按照一定的概率选取合适的动作action。
b. Critic 类似于 Q-Learning 等以值为基础的算法，由于在Actor模块中选择了合适的动作action，通过与环境交互可得到新的状态s_, 奖励r，将状态 s_作为神经网络的输入，得到v_，而原来的状态s通过神经网络输出后得到v。
c. 通过公式$ \ td_{error}= r+\gamma v_{-} \ - v$得到状态之间的差 t d e r r o r td_{error} tderror​，最后通过状态s，动作action，以及误差 t d e r r o r td_error tde​rror 更新Actor网络的参数，实现单步更新。
d. 将s_ 状态赋予给 s 状态。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EvkooAOX-1

最低0.47元/天 解锁文章
Hansry
关注
专栏目录
强化学习笔记【9】演员-评论家算法(Actor-Critic Algorithm)
qq_41030408的博客
08-07 1502
该系列主要是听李宏毅老师的《深度强化学习》过程中记下的一些听课心得，除了李宏毅老师的强化学习课程之外，为保证内容的完整性，我还参考了一些其他的课程，包括周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。 使用说明 笔记【4】到笔记【11】为李宏毅《深度强化学习》的部分； 笔记 【1】和笔记【2】根据《强化学习纲要》整理而来； 笔记 【3】和笔记【12】根据《百度强化学习》整理而来。 演员-评论家算法(Actor-Critic Algorithm)是一...
actor-critic 相关算法简述
星海浮生
03-15 2311
asynchronous advantage actor-critic（A3C）；pathwise derivative policy gradient；actor-critic 与 GAN 的关系
强化学习—A3C
最新发布
Tony Wey的博客
09-23 565
A3C 是一种基于异步并行化的强化学习算法，通过让多个智能体在独立环境中异步地进行策略更新，从而加快训练速度并提高策略的稳定性。尽管 A3C 在实现和参数调优上具有一定的复杂性，但其在多个实际任务中的优异表现使得它成为强化学习研究和应用中的一个重要工具。
DRL---------------Actor-Critic/DDPG
爱吃火锅的博客
08-08 4499
从名字就可以看出其是PG（关于什么是PG，可以参看https://blog.csdn.net/weixin_42001089/article/details/81478628）的升级版 首先说一下Actor-Critic（AC），之前所说的PG是在一个游戏回合结束之后才更新PG中DL的网络参数的。而AC主要就是看不惯这一点，他就是要改变这一现状，即实现单步更新的壮举。还有一点就是输出的不再是一些...
【强化学习】Actor-critic演员评论家算法
weixin_45523256的博客
02-10 1715
强化学习演员评论家算法
8. Actor-Critic、DDPG、A3C
weixin_30790841的博客
03-11 609
我们知道，学术中很多时候一般是先有了牛逼算法A，再有了牛逼算法B。但A，B算法一般都有缺点，于是有一天有人将两者整合，结合了两者优点，避免了两者缺点，皆大欢喜，喜大普奔。但对于AC算法来说其架构可以追溯到三、四十年前。 最早由Witten在1977年提出了类似AC算法的方法，然后Barto, Sutton和Anderson等大牛在1983年左右引入了actor-critic架构。但由于AC算法的研...
【RL 第6章】Actor Critic、DDPG、A3C
qq_51542439的博客
01-20 492
【RL 第6章】Actor Critic、DDPG、A3C
深度强化学习-DQN 算法及 Actor-Critic 算法-笔记（五）
wield_jjz的博客
10-30 1211
DQN算法及 Actor-Critic 算法DQNQ-learning状态价值函数 State Value Function DQN Q-learning 状态价值函数 State Value Function
莫烦强化学习笔记整理（十）Asynchronous Advantage Actor-Critic （A3C）
lxs3213196的博客
11-16 527
莫烦强化学习笔记整理（十）Asynchronous Advantage Actor-Critic （A3C）1、A3C 要点2、A3C 算法actor与critic网络单个workerworker并行工作 链接: A3C代码. 1、A3C 要点 A3C是Google DeepMind 提出的一种解决 Actor-Critic 不收敛问题的算法。它会创建多个并行的环境, 让多个拥有副结构的 agent 同时在这些并行环境上更新主结构中的参数，并行中的 agent 们互不干扰, 而主结构的参数更新受到副结构提交
莫烦强化学习笔记整理（七）Actor Critic，DDPG，A3C概述
lxs3213196的博客
11-13 2284
莫烦强化学习笔记整理（七）Actor Critic，DDPG，A3C概述1、Actor Critic概述2、DDPG概述（1）Deep（2）Deterministic Policy Gradient（3）DDPG神经网络3、A3C概述（1）平行训练（2）多核训练 1、Actor Critic概述 Actor Critic是强化学习中的一种结合体, 它合并了 以值为基础 (比如 Q learning) 和 以动作概率为基础 (比如 Policy Gradients) 两类强化学习算法。 Actor-Crit
[RL] Actor-Critic、A2C、A3C、DDPG、TD3基础概述
qq_61897765的博客
07-08 1352
好几个月之前学的了，当时手懒没总结，突然闲下来补个笔记
深度强化学习 - Actor-Critic
01-30
Actor-Critic Asynchronous Advantage Actor-Critic (A3C) Pathwise Derivative Policy Gradient
Actor-critic
qq_43058281的博客
04-07 204
Actor-criticReview-Policy GradientReview-Q-learningActor-CriticAdvantage Actor-Critic(A2C)Asynchronous Advantage Actor-Critic(A3C)Pathwise Derivative Policy Gradient 李宏毅深度强化学习 学习笔记 学习资料：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html Review-Policy
Actor Critic
caoyongsheng的博客
07-04 701
我们有了像 Q-learning这么伟大的算法, 为什么还要瞎折腾出一个 Actor-Critic? 原来 Actor-Critic 的 Actor 的前生是 Policy Gradients, 这能让它毫不费力地在连续动作中选取合适的动作, 而 Q-learning 做这件事会瘫痪. 那为什么不直接用 Policy Gradients 呢? 原来 Actor Critic 中的 Critic 的...
Actor-Critic
weixin_44548214的博客
05-02 466
Actor-Critic（A2C A3CA2C \ A3CA2C A3C） 1、首先要搞清楚什么是actor-critic算法，它是怎么来的？ Actor-critic算法是一种policy based的on policy的model-free算法。和value based的DQN算法有着本质的不同。policy based算法是将policy参数化π(a∣s,θ)=Pr⁡{A...
Actor - Critic Algorithms: A Brief Note
weixin_34260991的博客
05-02 204
Actor - Critic A class of algorithms that precede Q-Learning and SARSA are actor - critic methods. Refer to V. Konda and J. Tsitsiklis: Actor -critic algorithms. S...
【详解+推导！！】Actor-Critic 演员评论家算法
热门推荐
志远的博客
04-09 2万+
Actor-Critic，演员评论家算法是强化学习中的一种很实用的方法。 比较详细的推导可以看：https://datawhalechina.github.io/easy-rl/#/chapter9/chapter9?id=actor-critic-1 文章目录1. 简介2. Review: Policy Gradient3. Review: Q-Learning3. Actor-Critic4. Advantage Actor-Critic整个过程如下：Tips：5.A3C, Asynchronous
强化学习算法介绍
sinat_28375239的博客
06-02 234
强化学习算法介绍 对比学习一： sarsa Q-learning DQN policy gradient DDPG Actor-Critic Soft Actor-Critic A3C PPO 离散：DQN 连续：DDPG
强化学习及其常见算法介绍
啊哈的专栏
07-07 4374
原文地址https://www.cnblogs.com/yeyuan111/p/10320050.html 强化学习及其常见算法介绍 目录 RL 定义 RL基本元素 RL与其他机器学习的关系 基于值的算法 基于策略的算法 Actor-Critic 框架 强化学习算法 scsn_dango 第一部分： RL 基本概念介绍 RL 定义 ​ 在中文维基百科中，强化学习被定义为机...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值