【强化学习-04】Actor-critic algorithm

已于 2022-02-28 21:47:00 修改
阅读量726 收藏
点赞数
分类专栏： RL+OR 机器学习+强化学习-笔记 文章标签： 神经网络 深度学习 机器学习
于 2022-01-27 17:40:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HsinglukLiu/article/details/122717414
版权

Actor-critic algorithm

本笔记整理自 (作者: Shusen Wang):
https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0

Actor-critic algorithm

在这里插入图片描述

Value network and policy network

注意这里的符号

  • π ( a ∣ s ) \pi(a|s) π(a∣s): 指的是policy分布，是精确的分布，只是我们不知道具体形式
  • π ( a ∣ s , θ ) \pi(a|s, \theta) π(a∣s,θ): 指的是用一个神经网络去近似 π ( a ∣ s ) \pi(a|s) π(a∣s)，其中 θ \theta θ是神经网络的参数。
  • Q π ( s , a ) Q_{\pi}(s, a) Qπ​(s,a): 是指策略函数为 π \pi π，状态为 s s s, 动作为 a a a的时候的动作价值函数。
  • q ( s , a ; w ) q(s, a; \mathbf{w}) q(s,a;w): 指用一个神经网络 q ( s , a ; w ) q(s, a; \mathbf{w}) q(s,a;w)去近似动作价值函数 Q π ( s , a ) Q_{\pi}(s, a) Qπ​(s,a)。其中 w \mathbf{w} w是神经网络的参数。

在这里插入图片描述

在这里插入图片描述

输入：可以是一帧或者好几帧frame

在这里插入图片描述

  • 注意，value network q ( s , a ; w ) q(s, a; \mathbf{w}) q(s,a;w)可以和策略网络 policy network π ( s , a ; θ ) \pi(s, a; \theta) π(s,a;θ)共享相同的卷积层 conv, 但是也可以是完全独立的，各自有各自的参数。
  • 同时训练 value network q ( s , a ; w ) q(s, a; \mathbf{w}) q(s,a;w)和策略网络 policy network π ( s , a ; θ ) \pi(s, a; \theta) π(s,a;θ)就叫做Actor critic algorithm.
  • 训练的目的，是让运动员的平均分越来越高，并且让裁判的评分越来越精准

在这里插入图片描述

训练神经网络

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 注意：value network只是起辅助作用，训练完成之后就不再被用了。最后被使用的还是policy network.

Summary

在这里插入图片描述

刘兴禄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【详解+推导！！】Actor-Critic 演员评论家算法
志远的博客
04-09 1万+
Actor-Critic，演员评论家算法是强化学习中的一种很实用的方法。 比较详细的推导可以看：https://datawhalechina.github.io/easy-rl/#/chapter9/chapter9?id=actor-critic-1 文章目录1. 简介2. Review: Policy Gradient3. Review: Q-Learning3. Actor-Critic4. Advantage Actor-Critic整个过程如下：Tips：5.A3C, Asynchronous
一文读懂 深度强化学习算法 A3C （Actor-Critic Algorithm）
a1424262219的博客
12-25 2493
一文读懂 深度强化学习算法 A3C （Actor-Critic Algorithm） 2017-12-25 16:29:19 　　对于 A3C 算法感觉自己总是一知半解，现将其梳理一下，记录在此，也给想学习的小伙伴一个参考。 　　想要认识清楚这个算法，需要对 DRL 的算法有比较深刻的了解，推荐大家先了解下 Deep Q-learning 和 Policy Gra...
【强化学习】13 —— Actor-Critic 算法
sinat_52032317的博客
10-31 1230
可以发现，Actor-Critic 算法很快便能收敛到最优策略，并且训练过程非常稳定，抖动情况相比 REINFORCE 算法有了明显的改进，这说明价值函数的引入减小了方差。在 REINFORCE 算法中，目标函数的梯度中有一项轨迹回报，用于指导策略的更新。，代替蒙特卡洛采样得到的回报，这便是形式(4)。
【强化学习】强化学习数学基础：Actor-Critic方法
小哲的博客
03-15 1002
方法是一个非常重要的policy gradient methods。这一类方法强调的一种整合策略梯度和value-based方法的结构。什么是“actor”和“critic。
（10-1）Actor-Critic算法：Actor-Critic算法的介绍与原理
码农三叔
03-10 2539
Actor-Critic（演员-评论家）是一种强化学习算法，通常用于解决连续动作空间的问题。其一个重要特点是它允许在学习过程中同时学习策略和价值函数，从而可以有效地处理连续动作空间和高维状态空间的问题。在本章的内容中，将详细讲解Actor-Critic算法的知识，为读者步入后面知识的学习打下基础。
【学习强化学习】九、Actor-Critic算法原理及实现
weixin_42301220的博客
03-06 5927
文章目录参考资料1. Actor-Critic框架原理1.1 基本介绍1.2 原理分析1.3 Advantage Actor-Critic1. A2C引入2. A2C流程3. tips2. A3C2.1 A3C理解2.2 A3C运作机理2.3 算法大纲3. Pathwise Derivative Policy Gradient3.1 算法流程3.2算法相对于DQN的改变4. 练习1. A3C在训练时有很多的worker进行异步的工作。那么其具体的如何运作的呢？2. A3C是on-policy还是off-po
actor-critic-public, "An Actor Critic Algorithm for Structured Prediction"的源代码.zip
09-17
actor-critic-public, "An Actor Critic Algorithm for Structured Prediction"的源代码 基于的序列预测演员评价纸张的参考实现( openreview，提交到 ICLR 2017 )的演员评估算法由 Dzmitry Bahdanau，Philemon ...
Algorithm-rl-algorithms.zip
09-17
在"Algorithm-rl-algorithms.zip"这个压缩包中，我们很可能是得到了一个关于强化学习算法的代码库或教程资源，命名为"rl-algorithms-master"。 强化学习的核心概念包括： 1. **环境（Environment）**：智能体所处...
Algorithm_强化学习_ppo_强化学习算法_ActorCritic_强化学习AC_
09-30
我首先分别介绍一下基于值和基于策略的经典算法，然后介绍一个将基于值和基于策略的算法的优点结合起来的框架——Actor-Critic(AC)框架。在AC框架下进一步介绍目前学术界用得最多的几种强化学习算法，也包括《RND》...
Algorithm for reinforcement learning.zip（解压即可，无密码）
09-29
6. **Asynchronous Advantage Actor-Critic (A3C)**：在多个并行环境中执行策略，通过异步更新来加速学习，减少了对大量数据的需求。 7. **Deep Deterministic Policy Gradient (DDPG)**：适用于连续动作空间的问题...
强化学习算法：此存储库包含大多数基于pytorch实现的经典深度强化学习算法，包括-DQN，DDQN，Dualling Network，DDPG，SAC，A2C，PPO，TRPO。 （更多算法仍在进行中）
01-30
深度强化学习算法 该存储库将使用PyTorch实现经典的深度强化学习算法。 该存储库的目的是为人们提供清晰的代码，以供他们学习深度强化学习算法。 将来，将添加更多算法，并且还将保留现有代码。当前实施 深度Q学习...
深度强化学习-Actor-Critic算法原理和实现
caoyongsheng的博客
07-03 7137
在之前的几篇文章中，我们介绍了基于价值Value的强化学习算法Deep Q Network。有关DQN算法以及各种改进算法的原理和实现，可以参考之前的文章：实战深度强化学习DQN-理论和实践：https://www.jianshu.com/p/10930c371cacDQN三大改进(一)-Double DQN：https://www.jianshu.com/p/fae51b5fe000DQN三大改...
强化学习笔记【9】演员-评论家算法(Actor-Critic Algorithm)
qq_41030408的博客
08-07 1412
该系列主要是听李宏毅老师的《深度强化学习》过程中记下的一些听课心得，除了李宏毅老师的强化学习课程之外，为保证内容的完整性，我还参考了一些其他的课程，包括周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。 使用说明 笔记【4】到笔记【11】为李宏毅《深度强化学习》的部分； 笔记 【1】和笔记【2】根据《强化学习纲要》整理而来； 笔记 【3】和笔记【12】根据《百度强化学习》整理而来。 演员-评论家算法(Actor-Critic Algorithm)是一...
演员-评论家算法（Actor-Critic Algorithm）详解
最新发布
东城十三
06-25 573
演员-评论家（Actor-Critic）算法是一类结合了策略梯度（Policy Gradient）和价值函数（Value Function）估计的强化学习方法。演员-评论家方法同时训练一个策略（演员）和一个价值函数（评论家），通过演员选择动作，评论家评估动作的好坏，并提供反馈来改进策略。该方法在处理连续动作空间和复杂任务时表现出色。演员-评论家算法是一种结合了策略梯度和价值函数估计的强大强化学习方法。通过同时训练一个策略函数和一个价值函数，演员-评论家方法能够在复杂的强化学习任务中取得良好的效果。
强化学习------Actor-Critic(A2C)算法(附pytorch代码)
niulinbiao的博客
03-16 2795
算法是一种基于策略梯度和价值函数的强化学习方法，通常被用于解决连续动作空间和高维状态空间下的强化学习问题。该算法将一个Actor网络和一个Critic网络组合在一起，通过Actor网络产生动作，并通过Critic网络估计状态值函数或状态-动作值函数，最终通过策略梯度算法训练Actor网络和Critic网络。算法的优点是在处理大型状态空间时具有较高的效率和可扩展性。
ActorCritic Algorithm: A Guide to Custom Loss Functions and Optimization
禅与计算机程序设计艺术
01-07 348
1.背景介绍 在深度学习和人工智能领域，优化算法和损失函数是关键的组成部分。在这篇文章中，我们将深入探讨 Actor-Critic 算法，以及如何为其定制损失函数和优化方法。 Actor-Critic 算法是一种混合学习方法，结合了策略梯度(Policy Gradient)和值网络(Value Network)两个主要组成部分。这种方法在强化学习(Reinforcement Learning)...
强化学习笔记（七）演员-评论家算法（Actor-Critic Algorithms）及Pytorch实现
热门推荐
qq_34003876的博客
07-25 1万+
强化学习笔记（七）演员-评论家算法（Actor-Critic Algorithms）及Pytorch实现 接着上一节的学习笔记。上一节学习总结了Policy Gradient方法以及蒙特卡洛Reinforce实现。这节了解一下Actor-Critic算法。Actor-Critic是2000年在NIPS上发表的一篇名为Actor-Critic Algorithms的论文中提出的。它是一种策略(Policy Based)和价值(Value Based)相结合的方法，见UCL第七讲的开篇PPT（下图） 第一个是
强化学习入门
qq_39086276的博客
04-03 462
1.基本概念 state：当前环境的状态+agent自身的状态，是一个随机变量，受到环境的影响 policy：根据当前state给出相应action的概率 State transition：在给定state，action下，环境给出下一个state的概率 return：回报，表示从t时刻开始未来所有回报的折扣累积，是一个随机变量，随机性来自于未来所有state和action Acti...
深度强化学习cs294 Lecture6: Actor-Critic Algorithms
无所知的博客
11-28 1226
深度强化学习cs294 Lecture6: Actor-Critic Algorithms1. Improving the policy gradient with a critic2. The policy evaluation problem3. Discount factors4. The actor-critic algorithmState-dependent baselines 复习一...
actor-critic算法matlab代码
06-28
Here is a basic implementation of the actor-critic algorithm in MATLAB: ``` % Initialize parameters alpha_c = 0.1; % Critic learning rate alpha_a = 0.01; % Actor learning rate gamma = 0.9; % Discount...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值