A3C=value based+actor based

最新推荐文章于 2022-07-02 21:00:42 发布
最新推荐文章于 2022-07-02 21:00:42 发布
阅读量223 收藏 1
点赞数
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duyue3052/article/details/82701924
版权
本文深入探讨A3C（Asynchronous Advantage Actor-Critic）算法，重点复习actor based部分，并介绍如何通过value based方法解决稳定性问题。文章讨论了在不同状态下采取行动的概率及其对总奖励（G）的影响，指出状态转移的不确定性带来的挑战，以及Q-learning作为解决方案的价值函数。通过Q函数网络输出的行为得分期望，更新actor策略，并介绍了参数共享和影分身训练等实际应用技巧。
摘要由CSDN通过智能技术生成

A3C文献

actor based复习

从右往左理解公式：在互动获取数据之后，在某个状态s采取行为a的概率，括号中是权重（越往后影响越低，有正有负），玩到底将所有的加起来得到G。计算梯度，更新actor的参数 

问题在于，某个状态s经过a之后的状态是一个分布，除非采样很多，不然极不稳定，而每个s的每个action的采样不可能很多

能不能估计期望值？所以有了value base的方法：Qlearning

之前是累计所有游戏中的某个state之中执行某个action a之后的轨迹得到G，进而更新 actor

现在将某个state之后所有可能的action的期望的G，形成一个critic

G的期望就是Q函数的网络输出，网络输出每个行为的得分期望（TD比较稳，MC比较精确）；之前是用得分期望更新网络参数，输出行为的概率，

 

最低0.47元/天 解锁文章
chen5561
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何理解A3C算法
12-03
如何理解深度强化学习基本概念：value-based，policy-based，off-policy，on-policy。以及A3C算法
actor-based programming与构建大规模扩展性的并行系统
weixin_34059951的博客
03-28 113
1.actor-based programming actor based 类似于object based ，但是它比object 多了自己的message queue 和message processor、message handler 也就是说一个actor是一个独立的处理单元，但是他不是真正的物理上的thread 可以看成是轻量级的thread。 一个actor可以给另一...
Actor-Based Programming
专心-超越
06-21 787
http://msdn.microsoft.com/en-us/magazine/ff959205.aspx
【RL】--Value-Based与Policy-Based的区别
xgyyxs的博客
12-03 8915
1. 生成policy上的差异：一个随机，一个确定 Value-Base 中的 action-value估计值最终会收敛到对应的true values（通常是不同的有限数，可以转化为0到1之间的概率），因此通常会获得一个确定的策略（deterministic policy） Policy-Based不会收敛到一个确定性的值，另外他们会趋向于生成optimal stochastic policy。如...
A3C的算法原理和算法流程
caoyongsheng的博客
03-22 1万+
在强化学习(十四) Actor-Critic中，我们讨论了Actor-Critic的算法流程，但是由于普通的Actor-Critic算法难以收敛，需要一些其他的优化。而Asynchronous Advantage Actor-critic(以下简称A3C)就是其中比较好的优化算法。本文我们讨论A3C的算法原理和算法流程。 　　　　本文主要参考了A3C的论文，以及ICML 2016的deep RL...
libscoa:类似于Erlang的轻量级C ++ actor框架
05-16
libscoa是C ++ 17中的玩具演员模型运行时。 用法 hello.cc打印Hello, world! 向屏幕。 # include " libscoa.h " class foo_be : public scoa ::actor_be<foo> { public: auto be () { return scoa::match{ [&...
cpp-rotor:事件循环友好的C ++ actor微框架
05-13
rotor是事件循环友好的C ++ actor微型框架。 特征 简约的不可知论核心 层次管理器， 支持各种事件循环（wx，boost-asio，ev）或计划的事件循环（uv，gtk等） 异步消息传递接口 具有取消功能的消息传递， MPMC（多...
actor-framework：C ++中Actor模型的开源实现
02-27
CAF：C ++ Actor框架 CAF是C ++ actor模型的开源实现，具有轻量级和快速的actor实现，消息的模式匹配，网络透明消息传递等。 在线资源 主页： : 开发者博客： : 手册： : Doxygen ： : 报告错误/获得帮助 ...
nact：nact⇒node.js + actor⇒您的服务从未如此微妙
02-04
Nact⇒node.js +参与者您的服务从未如此微妙 任何和所有反馈，意见和建议都欢迎。 如果您发现文档中有任何不清楚或误导的地方，请打开一个问题。 这是javascript实现的存储库。 要查看/贡献ReasonML代码，请访问 ...
actor:Actor模型的C ++实现
05-20
演员 用于构建事件驱动的异步系统的通用框架，旨在利用现代多核处理器体系结构。 它非常喜欢“标记事件驱动的体系结构”（SEDA）事件驱动器模型来进行流水线事件处理。 该系统非常适合构建IO密集型，对延迟敏感的...
[A3C]:算法原理详解
syc1220的博客
05-29 1万+
深度强化学习框架使用异步梯度下降来优化深度神经网络控制器。提出了四种标准强化学习算法的异步变体，并证明并行actor-learners在训练中具有稳定作用，使得四种方法都能成功地训练神经网络控制器。
（深入理解）强化学习中的policy-based和value-based区别是什么？
qq_43391414的博客
12-03 4760
想要知道区别，我们得先知道他们分别是怎么做的。 value-based:输入s，输出Q(s,a) policy-based：输入s，输出p(s,a) 不但如此，还有区别 value-based:输入s，输出Q(s,a)后，我们要选一个动作。其选取方法是： 训练时使用epsilon-greedy（有一定探索） 测试时使用argmax Q(s,a)（确定），也就是1-greedy（确定）。 policy-based：输入s，输出p(s,a)后，我们要选一个动作。其选取方法是： 训练时根据概率p(s,a)选
深度强化学习——A3C
草帽BOY的博客
06-13 5万+
异步的优势行动者评论家算法（Asynchronous Advantage Actor-Critic，A3C）是Mnih等人根据异步强化学习（Asynchronous Reinforcement Learning， ARL） 的思想，提出的一 种轻量级的 DRL 框架，该框架可以使用异步的梯度下降法来优化网络控制器的参数，并可以结合多种RL算法。
【强化学习】Actor-Critic算法详解
热门推荐
shura的技术空间
06-22 10万+
https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-1-actor-critic/ http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html 【强化学习】Actor-Critic详解 之前在强化学习分类中，我们...
value-based 与 policy-based区别
weixin_42522567的博客
07-02 521
value-based 代表算法：sarsa、Q-learning、DQN1、直接输出Q值，根据Q值选择动作2、当把Q网络训练到一定程度后，Q网络收敛，输入相同状态，得到相同动作。属于确定性策略policy-based 算法1、输出每个动作的概率值，然后随机选择动作2、即便把网络训练到收敛，相同状态，也可能得到不同动作，属于随机策略...
中科院自动化所介绍深度强化学习进展：从AlphaGo到AlphaGo Zero
人工智能学家
01-31 1万+
来源：德先生概要：2016年初，AlphaGo战胜李世石成为人工智能的里程碑事件。其核心技术深度强化学习受到人们的广泛关注和研究，取得了丰硕的理论和应用成果。深度强化学习进展:  从AlphaGo到AlphaGo Zero唐振韬, 邵坤, 赵冬斌 , 朱圆恒中国科学院 自动化研究所 复杂系统管理与控制国家重点实验室, 北京 100190中国科学院大学, 北京 100190摘要: 2016年初，Al
在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架
caoyongsheng的博客
07-14 2万+
AC算法框架被广泛应用于实际强化学习算法中，该框架集成了值函数估计算法和策略搜索算法，是解决实际问题时最常考虑的框架。大家众所周知的alphago便用了AC框架。而且在强化学习领域最受欢迎的A3C算法，DDPG算法，PPO算法等都是AC框架。我们这一讲便总结下AC算法的发展并介绍目前最受关注的A3C算法和PPO算法。本讲的内容包括：1.1 策略梯度的直观解释1.2 Actor-Critic框架引出...
Policy Gradient 和 Value based 方法的区别
hnshahao的专栏
10-08 7851
[Value Based 方法] (1) Value based的方法的背景知识 对于MDP, S,A,P,R,r来说，首先是定义了value function, V(s)和Q(s,a), 在有了value function的定义以后，就可以得到 Optimal value Optimal policy 然后又引出了Bellman Equation，Bellman Equa...
Dopamine 使用教程
duyue3052的博客
09-06 5998
简介 基本信息介绍 现有的 RL 框架并没有结合灵活性和稳定性以及使研究人员能够有效地迭代 RL 方法，并因此探索可能没有直接明显益处的新研究方向。所以Google推出一个基于 Tensorflow 的框架，旨在为 RL 的研究人员提供灵活性、稳定性和可重复性。此版本还包括一组阐明如何使用整个框架的 colabs。 精简的代码（大约 15 个Python 文件）。通过专注于 Arcade 学...
if len(actor)==2: count1=wordsList.count(actor[0]) count2=wordsList.count(actor[1]) dictActors[actor[0]]=count1+count2 else: count1=wordsList.count(actor[0]) dictActors[actor[0]]=count1+count2
最新发布
06-12
这段代码中，假设actor是一个包含1个或2个元素的列表，wordsList是一个包含多个元素的列表。代码的作用是统计wordsList中出现actor中元素的总次数，并将结果存储在一个名为dictActors的字典中。 首先判断actor的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值