Datawhale - Task03：Actor-Critic

最新推荐文章于 2024-07-25 11:38:39 发布
最新推荐文章于 2024-07-25 11:38:39 发布
阅读量755 收藏 14
点赞数 22
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_58547591/article/details/135793031
版权

目录

一、REINFORCE算法

二、带基线函数的REINFORCE算法

三、Actor-Critic算法

四、A2C与A3C算法

        本文为Datawhale《深度强化学习基础与实践(二)》学习总结。

        以下为本文参考资料：

  1. Reinforcement Learning: An Introduction
  2. 动手学强化学习（https://hrl.boyuai.com）
  3. JoyRL（datawhalechina/joyrl-book (github.com)）
  4. 神经网络与深度学习，邱锡鹏

        今天来整理一下REINFORCE、带基线函数的REINFORCE、AC、A2C、A3C算法。

一、REINFORCE算法

        基于轨迹的梯度公式（含折扣因子$\gamma$）：

最低0.47元/天 解锁文章
qq_58547591
关注
  • 22
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DATAWHALE-强化学习-TASK01(转)
xxbbin的博客
10-20 205
强化学习task01习题强化学习的questions习题 强化学习的questions习题 1.强化学习的基本结构是什么 答： 本质上是Agent和Environment间的交互。具体地，当Agent在Environment中得到当前时刻的State，Agent会基于此状态输出一个Action。然后这个Action会加入 到Environment中去并输出下一个State和当前的这个Action得到的Reward。Agent 在Environment里面存在的目的就是为了极大它的期望积累的Reward。 2
【Datawhale组队学习深度强化学习】Task1
m0_61267964的博客
06-20 777
深度强化学习基础
【Datawhale组队学习深度强化学习】Task6 Task5
m0_61267964的博客
07-04 957
本次学习的相关资料：【教程】【学习者手册】​。
pytorch 笔记：DDPG （datawhale 代码解读）
qq_40206371的博客
07-14 2105
理论部分可见：强化学习笔记：双延时确定策略梯度 (TD3)_UQI-LIUWJ的博客-CSDN博客源代码路径：easy-rl/codes/DDPG at master · datawhalechina/easy-rl (github.com) 1.2 Config 类——一些环境变量和算法变量的配置 1.3 env_agent_config函数——设置环境和智能体 1.4 train 1.5 test 1. 6 main 函数部分 2 ddpg.py 2.
DataWhale带你入门强化学习
Baby1601tree的博客
10-20 673
序 强化学习讨论的核心是agent（智能体）和environment（环境）间的交互行为。主要是解决agent如何在一个复杂且不确定的environment中去极大化它所获得的奖励。 本篇博文代码部分较少，主要是解释强化学习的概念以及其应用领域。 强化学习和监督学习的对比 监督学习 举个图片分类的例子，我们的数据事先会有标定，如车/飞机/火箭/轮船等等。这些图片都打好了确定的标签。通过训练分类器（如神经网络），把真实的标签告诉分类器（如我告诉这张图片是一个飞机），当训练器做出了错误的判断（如输出了汽车），那
Task04：DDPG、TD3算法
小刘的博客
01-27 1273
本文主要介绍了强化学习中较为常用的一类算法，即 DDPG和TD3算法，它们虽然在结构上被归类于Actor-Critic算法，但从原理上来说跟DQN算法更为接近。先介绍了DDPG算法，它相当于DQN算法的一个连续动作空间版本扩展，它在DDPG在动作中引入噪声进一步提升了模型的探索能力。 之后介绍了TD3算法，它主要包括了双Q网络、延迟更新和躁声正则。最后进行了代码实战。
Task05：PPO算法
小刘的博客
02-01 1056
PG方法的缺点是数据效率和鲁棒性不好。同时TRPO方法又比较复杂，且不兼容dropout（在深度神经网络训练过程中按照一定概率对网络单元进行丢弃）和参数共享（策略和值函数间）。这篇论文提出了PPO算法，它是对TRPO算法的改进，更易于实现，且数据效率更高。TRPO方法中通过使用约束而非惩罚项来保证策略更新的稳定性，主要原因是作为惩罚项的话会引入权重因子，而这个参数难以调节。TRPO中为了解优化问题，先线性近似目标函数，二阶近似约束，最后通过conjugate gradient算法和line search求解
深度强化学习Task2：策略梯度算法
小刘的博客
01-21 1651
本文从对比基于价值的算法和基于梯度的算法，分析了它们各自的优缺点，之后用一个直观的例子引入了策略梯度算法，REINFORCE算法用来解决轨迹无限多而无法计算的问题，但是这个算法由于假定了目标是使得每回合的累积价值最大，而每回合的累积奖励或回报会受到很多因素的影响，比如回合的长度、奖励的稀疏性等等，从而泛化性不够。为了解决这个问题，提出了基于平稳分布的策略梯度算法。最后介绍了一下策略函数的实现。
深度强化学习Task3：A2C、A3C算法
小刘的博客
01-24 1328
本文首先从蒙特卡洛策略梯度算法和基于价值的DQN族算法的缺陷进行切入，引出了Actor-Critic 算法。该算法主要是对Critic 部分进行了改进，在Q Actor-Critic 算法提出的通用框架下，引入一个优势函数，即A2C算法。原先的 A2C算法相当于只有一个全局网络并持续与环境交互更新，而A3C算法中增加了多个进程，使每一个进程都拥有一个独立的网络和环境以供交互，并且每个进程每隔一段时间都会将自己的参数同步到全局网络中，提高了训练效率。之后介绍了广义优势估计着一种通用的模块，它在实践中可以用在
adversarially-guided-actor-critic:树
05-25
对抗性演员批评（AGAC） ...cd adversarially-guided-actor-critic pip install -r requirements.txt 在MiniGrid上训练AGAC python run_minigrid.py 在Vizdoom上训练AGAC （ ） python run_vizdoom.py Vizdoom安
Distributional-Soft-Actor-Critic
04-25
"分布式软 Actor-Critic（Distributional-Soft-Actor-Critic，简称DSAC）是一种强化学习（Reinforcement Learning, RL）算法，它结合了分布式价值估计和熵正则化策略优化。在RL中，智能体通过与环境互动学习最优策略...
Actor-Critic原理+PPO算法推导
01-20
"Actor-Critic原理+PPO算法推导" Actor-Critic 原理是强化学习中的一种重要方法，主要用于解决 Sequential Decision Making 问题。该方法结合了 Actor 网络和 Critic 网络，Actor 网络负责选择动作，而 Critic 网络...
强化学习Soft Actor-Critic算法：基于LunarLander登陆器的Soft Actor-Critic强化学习
01-13
强化学习Soft Actor-Critic算法。参考博客：https://blog.csdn.net/weixin_44584198/article/details/135546087 基于LunarLander登陆器的Soft Actor-Critic强化学习（含PYTHON工程）
1.actor-critic.ipynb
09-02
关于actor-critic的例子，适合初学者对深度强化学习actor-critic的认识和了解
打卡第22天------回溯算法
GodLoveMe的博客
07-24 737
开始学习了，希望我可以尽快成功上岸！
【算法/训练】：动态规划（线性DP）
island1314的博客
07-24 882
先创建一个 dp[ n + 2 ][ m + 2 ]，然后让dp[ 0 ][ 1 ] = 1 或者 dp[ 1 ][ 0 ] = 1。注意这样初始化的时候，x需要+1,y也需要+1.dp[i][j] 表示：从[0, 0]出发，到底[i, j]位置，一共有多少种方法。当走到马可以走的地方，dp[ i ][ j ] = 0;对输入的字符矩阵我们按照要求将其。故（i，j）位置的积分应该为dp。对于第一行和第一列我们应该特殊处理，利用。，然后我们就可以按照dp。
代码随想录算法训练营第二十二天|回溯算法part01
qq_43456971的博客
07-25 687
这一题与上题一样，除了终止条件中需要判断和是否为target。多了一个剪枝操作，就是当值已经大于target，直接返回。本题还有一个建立数字和字母之间映射的问题，使用string数组来进行映射。因此回溯算法的宽度是每个集合里面的个数，回溯算法的深度是集合的个数。参数是digits与index，index是用来记录遍历第几个集合。在单个集合1-9中，寻找所有个数为k且和为target的组合。在单个集合1-n中，寻找所有个数为k的组合。这一题是在多个集合中找所有可能的组合。和所有递归一样，都有三部曲。
数据结构与算法--【数组2】力扣练习 || 双指针 / 移除元素 / 数组排序
最新发布
qq_44578108的博客
07-25 852
简单删除元素 / 指定某元素位置，其余元素位置相对不变双指针指向数组头。快指针扫描数组并判断，慢指针收集变化后的数组元素。不创建新数组，只覆盖原数组。对数组元素排序一个指针指开头，一个指针指结尾。判断两指针指向值大小，循环结束条件first <= last；for循环，while循环均可，本人更习惯while循环。使用malloc为新数组分配空间，注意，创建了新数组。
VMP-A3C: 使用异步优势Actor-Critic算法优化虚拟机整合
"这篇研究论文探讨了基于异步优势Actor-Critic算法的虚拟机整合优化方法，用于解决云计算环境中的虚拟机放置问题，以提高能效、实现负载平衡并减少能耗。该方法被称为VMP-A3C，它利用深度强化学习（DRL）策略动态地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值