强化学习打卡之DQN与Actor-Critic

深度理解强化学习：DQN与Actor-Critic
最新推荐文章于 2025-08-14 14:17:23 发布
原创 最新推荐文章于 2025-08-14 14:17:23 发布 · 2.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了强化学习中的DQN方法，它通过神经网络解决Q-learning在大动作空间的问题。接着对比了MC和TD的学习方式，并讨论了Q函数的两种表达形式。文章还提到了DQN训练的三个关键技巧：目标网络、探索策略和经验回放缓冲区。此外，介绍了Actor-Critic算法，它是策略梯度和TD学习的结合，同时讨论了其在估计Q和V网络时的挑战及解决方案。最后，简述了A3C算法用于加速策略梯度计算的方法。

强化学习打卡之DQN

DQN为了解决动作空间过大造成维数灾难问题在Q-learning的基础上引入了神经网络。DQN 主要是把 Q 函数通过价值函数近似方法转换为一个深度神经网络。神经网络输入的是状态，输出每个动作的Q值。

前面学过Q-learning 是一种value-based的方法，不是学习策略，而是说有一个critic通过MC based的方法或者TD based的方法得出状态值函数 V π（s）进行 Policy Evaluation(策略评估)。

MC VS.TD

在这里插入图片描述由上图MC和TD的更新公式可知两者各有优劣，MC是一个episode得到的累计奖励值，所以偏差较大，但是方差较大；而TD是每走一步就learn一下，更新的公式中的r是个随机量，会可能带来大的估计偏差，但是方差较小。

Q function

1.第一种写法：input 是 state 跟 action，output 就是一个 scalar
2.第二种写法：input 是一个 state s，output 就是好几个 value（仅对离散的action）
在这里插入图片描述在这里插入图片描述上图说明了Q-learning本质的问题是要找到一个策略π使得Q函数能取到最大值，而这个策略是用Q function推出

最低0.47元/天 解锁文章
小白684
关注
【八】强化学习之DDPG---PaddlePaddlle【PARL】框架｛飞桨｝
丨汀、的博客
03-22 1898
课程笔记【强化学习7日打卡营-7】
强化学习基础篇[3]：DQN、Actor-Critic详解
丨汀、的博客
06-03 1253
在之前的内容中，我们讲解了Q-learning和Sarsa算法。在这两个算法中，需要用一个Q表格来记录不同状态动作对应的价值，即一个大小为状态个数，动作个数[状态个数，动作个数]状态个数，动作个数的二维数组。在一些简单的强化学习环境中，比如迷宫游戏中（图1a），迷宫大小为4*4，因此该游戏存在16个state；而悬崖问题（图1b）的地图大小为 4*12，因此在该问题中状态数量为48，这些都属于数量较少的状态，所以可以用Q表格来记录对应的状态动作价值。
DQN 算法及 Actor-Critic 算法
hezzfew的博客
11-03 1285
DQN 算法及 Actor-Critic 算法 1 关键概念 DQN(Deep Q-Network)： 基于深度学习的Q-learning算法，其结合了 Value Function Approximation（价值函数近似）与神经网络技术，并采用了目标网络（Target Network）和经历回放（Experience Replay）的方法进行网络的训练。 State-value Function： 本质是一种critic。其输入为actor某一时刻的state，对应的输出为一个标量，即当act
强化学习组队学习task04—— DQN 算法及 Actor-Critic 算法
weixin_45325331的博客
11-03 1854
文章目录一、DQN1.状态价值函数的估计方法2.Q函数3.DQN网络中的tips（1）目标网络（2）Exploration（3）Experience Replay(经验回放)4.DQN算法总结二、Q-learning进阶三、连续行为的Q-learning四、Actor-critic 一、DQN 在 Q-learning 中，我们使用表格来存储每个状态 s 下采取动作 a 获得的奖励，即状态-动作值函数 。然而，这种方法在状态量巨大甚至是连续的任务中，会遇到维度灾难问题，往往是不可行的。因此，DQN 是指基于
【强化学习解惑】如果状态空间或动作空间很大，如何应对维度灾难？
最新发布
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
08-14 724
如果状态空间或动作空间很大，如何应对维度灾难？
Task04：DQN 算法及 Actor-Critic 算法
Thoth_A的博客
11-03 492
DQN 是指基于深度学习的 Q-learning 算法，主要结合了价值函数近似(Value Function Approximation)与神经网络技术，并采用了目标网络和经历回放的方法进行网络的训练。 第二个 tip 是 Dueling DQN。其实 Dueling DQN 也蛮好做的，相较于原来的 DQN，它唯一的差别是改了 network 的架构。Q-network 就是 input state，output 就是每一个 action 的Q value。Dueling DQN 唯一做的事情是改了 ne
DQN算法及actor-critic算法（强化学习蘑菇书第六七八章）
weixin_43405049的博客
07-24 1735
强化学习蘑菇书DQN部分
RL学习笔记-4-DQN 算法及 Actor-Critic 算法
阿凡齐的博客
11-03 279
强化学习蘑菇书第十二章模仿学习、以及DDQN、演员-评论家算法的一点补充
weixin_43405049的博客
07-27 657
蘑菇书最后一章节
强化学习打卡之DDPG
weixin_41560321的博客
11-08 898
强化学习打卡之DDPG DDPG用来解决action是连续的问题，其实有个概念挺混乱的，DQN是用来解决状态空间和动作空间过大的问题，连续的动作变量不就是很大的动作空间吗，为啥它不能解决连续动作变量的问题呢，直到跟上上一章Actor-Critic对比才知道跟神经网络的输入输出有关，因为DQN的神经网络输出的每个动作的Q值，所以不能解决动作时连续的问题，而Actor-Critic可以，因为用到了PolicyGradient进行策略迭代输出动作的方法，Policy Gradients 直接输出动作的最大好处就是
强化学习7日打卡营——个人心得总结
undirectlookable的博客
06-26 1090
目录背景一些关键概念功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 背景 无意间看到了百度AIStudio的7日强化学习入门训练营，一向觉得强化学习很高大上，但又不太明白其中原理，甚是好奇，这种面对小白的入门课程再适合我不过了。而
强化学习——DQN 算法与Actor-Critic
sosososoon的博客
11-03 2857
DQN 算法
halite-3:DQN和Actor-Critic在Halite 3中的应用
04-17
DQN和Actor-Critic应用于Halite halite引擎的API包含在hlt中。 对此进行了一些自定义修改，以使游戏和测试更加容易。 如何运行代理 可执行文件halite是在Ubuntu 18.04上构建的，因此只能在Ubuntu 18.04上运行。 如果您尝试在Mac或Windows操作系统上运行此程序，则需要转到 ，下载相应的python3入门工具包，您将在其中找到预构建的halite可执行文件。 替换为该目录中的那个，一切正常。 指令 该代码库是用python3编写的。 要运行DQN，请使用： python -m dqn_learning.train --games < NUM> 要运行演员评论家，请使用： python -m actor_critic.train --games < NUM_OF_EPISODES_TO_
深度强化学习总结(DQN,DDQN,Actor-Critic,DDPG)
endlessne的博客
01-10 6261
DQN与Double DQN的区别： DQN： YtDQN=Rt+1+γmaxaQ(St+1,a:θt−)Y^{DQN}_t=R_{t+1}+ \gamma\underset{a}{max}Q(S_{t+1},a:\theta^-_t)YtDQN​=Rt+1​+γamax​Q(St+1​,a:θt−​). 即模型输出的为Q值,然后根据Q值去计算 YDQNY^{DQN}YDQN. Doube DQN： YtDoubleDQN=Rt+1+γQ(St+1,argmaxaQ(St+1,a:θt);θt−)Y^{D
Reinforcement Learning学习笔记|从Q-Learning到Actor Critic
weixin_30546933的博客
03-31 290
Reinforcement Learning NOTE 最近，Deep Reinforcement Learning的应用和发现十分广泛，如Alpha GO。 我们将关注于学习解决增强学习的不同结构。包括Q-learning、Deep Q-Learning、Policy Gradient、Actor Critic 和 PPO。 Introduction 三个问题： What Reinforc...
第三章 DQN算法及Actor-Critic算法
qq_41491023的博客
11-02 1577
Double DQN 接下来要讲的是 train Q-learning 的一些 tip。第一个 tip 是做 Double DQN。那为什么要有 Double DQN 呢？因为在实现上，你会发现 Q value 往往是被高估的。上图来自于 Double DQN 的原始 paper，它想要显示的结果就是 Q value 往往是被高估的。 这边有 4 个不同的小游戏，横轴是 training 的时间，红色锯齿状一直在变的线就是 Q-function 对不同的 state estimate 出来的平均 .
深度强化学习-DQN 算法及 Actor-Critic 算法-笔记（五）
wield_jjz的博客
10-30 1446
DQN算法及 Actor-Critic 算法DQNQ-learning状态价值函数 State Value Function DQN Q-learning 状态价值函数 State Value Function
深度学习、强化学习：用PyTorch实现强化学习中的基于价值函数的方法DQN及ActorCritic方法
AI天才研究院
07-31 1920
人工智能领域中，基于价值函数的方法是指采用状态和动作的函数来计算返回值（即价值）的机器学习方法，在游戏领域，这些方法被广泛应用于最优决策问题的求解上。近几年，随着深度学习技术的发展，基于价值函数的方法得到了越来越多的应用。本文将介绍DQN和Actor-Critic方法，并基于PyTorch框架进行相应的代码实践。希望能够帮助读者更好的理解强化学习相关算法的工作原理，并顺利完成项目实践。深度Q网络（Deep Q Network，DQN）是DQN算法的一种变体，其核心思想是使用深度神经网络拟合状态价值函数Q。
[强化学习笔记]DQN（Deep Q-Network）、Actor-Critic（行为者-评论者） 和 DDPG（Deep Deterministic Policy Gradient)的总结与对比
weixin_51154035的博客
04-08 822
算法动作空间核心思路是否有策略网络是否使用值函数特点DQN离散Q 学习 + 深度网络❌✅ Q(s,a)简单、经典，不能处理连续动作离散或连续策略+值函数✅结合两种思路DDPG连续Actor-Critic + DQN 技术✅✅ Q(s,a)适合连续动作，确定性策略。
DQN和Actor-Critic
08-07
DQN 和 Actor-Critic 都属于深度强化学习（Deep Reinforcement Learning, DRL）的范畴，它们都可以与深度神经网络结合，处理高维状态空间的问题。两者都广泛应用于游戏控制、机器人路径规划、自动驾驶等领域。 4. ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值