DQN 算法及 Actor-Critic 算法

深度强化学习：DQN与Actor-Critic算法解析
最新推荐文章于 2025-04-08 13:09:38 发布
原创 最新推荐文章于 2025-04-08 13:09:38 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了DQN算法的关键概念，包括深度Q学习、目标网络、经验回放以及Double和Dueling DQN的改进。同时，文章探讨了Actor-Critic方法，如A2C和A3C，以及Pathwise Derivative Policy Gradient在连续动作空间中的应用。

DQN 算法及 Actor-Critic 算法

1 关键概念

  • DQN(Deep Q-Network)： 基于深度学习的Q-learning算法，其结合了 Value Function Approximation（价值函数近似）与神经网络技术，并采用了目标网络（Target Network）和经历回放（Experience Replay）的方法进行网络的训练。

  • State-value Function： 本质是一种critic。其输入为actor某一时刻的state，对应的输出为一个标量，即当actor在对应的state时，预期的到过程结束时间段中获得的value的数值。

  • State-value Function Bellman Equation： 基于state-value function的Bellman Equation，它表示在状态 s_t 下带来的累积奖励 G_t 的期望。

  • Q-function: 其也被称为state-action value function。其input 是一个 state 跟 action 的 pair，即在某一个 state 采取某一个action，假设我们都使用 actor pi，得到的 accumulated reward 的期望值有多大。

  • Target Network： 为了解决在基于TD的Network的问题时，优化目标
    在这里插入图片描述左右两侧会同时变化使得训练过程不稳定，从而增大regression的难度。target network选择将上式的右部分即

最低0.47元/天 解锁文章
强化学习基础篇[3]：DQN、Actor-Critic详解
丨汀、的博客
06-03 1253
在之前的内容中，我们讲解了Q-learning和Sarsa算法。在这两个算法中，需要用一个Q表格来记录不同状态动作对应的价值，即一个大小为状态个数，动作个数[状态个数，动作个数]状态个数，动作个数的二维数组。在一些简单的强化学习环境中，比如迷宫游戏中（图1a），迷宫大小为4*4，因此该游戏存在16个state；而悬崖问题（图1b）的地图大小为 4*12，因此在该问题中状态数量为48，这些都属于数量较少的状态，所以可以用Q表格来记录对应的状态动作价值。
深度学习、强化学习：用PyTorch实现强化学习中的基于价值函数的方法DQN及ActorCritic方法
AI天才研究院
07-31 1920
人工智能领域中，基于价值函数的方法是指采用状态和动作的函数来计算返回值（即价值）的机器学习方法，在游戏领域，这些方法被广泛应用于最优决策问题的求解上。近几年，随着深度学习技术的发展，基于价值函数的方法得到了越来越多的应用。本文将介绍DQN和Actor-Critic方法，并基于PyTorch框架进行相应的代码实践。希望能够帮助读者更好的理解强化学习相关算法的工作原理，并顺利完成项目实践。深度Q网络（Deep Q Network，DQN）是DQN算法的一种变体，其核心思想是使用深度神经网络拟合状态价值函数Q。
强化学习打卡之DQN与Actor-Critic
weixin_41560321的博客
11-03 2997
强化学习打卡之DQN DQN为了解决动作空间过大造成维数灾难问题在Q-learning的基础上引入了神经网络。DQN 主要是把 Q 函数通过价值函数近似方法转换为一个深度神经网络。神经网络输入的是状态，输出每个动作的Q值。 前面学过Q-learning 是一种value-based的方法，不是学习策略，而是说有一个critic通过MC based的方法或者TD based的方法得出状态值函数 V π（s）进行 Policy Evaluation(策略评估)。 MC VS.TD 由上图MC和TD的更新公式可知
强化学习组队学习task04—— DQN 算法及 Actor-Critic 算法
weixin_45325331的博客
11-03 1854
文章目录一、DQN1.状态价值函数的估计方法2.Q函数3.DQN网络中的tips（1）目标网络（2）Exploration（3）Experience Replay(经验回放)4.DQN算法总结二、Q-learning进阶三、连续行为的Q-learning四、Actor-critic 一、DQN 在 Q-learning 中，我们使用表格来存储每个状态 s 下采取动作 a 获得的奖励，即状态-动作值函数 。然而，这种方法在状态量巨大甚至是连续的任务中，会遇到维度灾难问题，往往是不可行的。因此，DQN 是指基于
[强化学习笔记]DQN（Deep Q-Network）、Actor-Critic（行为者-评论者） 和 DDPG（Deep Deterministic Policy Gradient)的总结与对比
weixin_51154035的博客
04-08 822
算法动作空间核心思路是否有策略网络是否使用值函数特点DQN离散Q 学习 + 深度网络❌✅ Q(s,a)简单、经典，不能处理连续动作离散或连续策略+值函数✅结合两种思路DDPG连续Actor-Critic + DQN 技术✅✅ Q(s,a)适合连续动作，确定性策略。
DQN算法及actor-critic算法（强化学习蘑菇书第六七八章）
weixin_43405049的博客
07-24 1735
强化学习蘑菇书DQN部分
halite-3:DQN和Actor-Critic在Halite 3中的应用
04-17
DQN和Actor-Critic应用于Halite halite引擎的API包含在hlt中。 对此进行了一些自定义修改，以使游戏和测试更加容易。 如何运行代理 可执行文件halite是在Ubuntu 18.04上构建的，因此只能在Ubuntu 18.04上运行。 如果您尝试在Mac或Windows操作系统上运行此程序，则需要转到 ，下载相应的python3入门工具包，您将在其中找到预构建的halite可执行文件。 替换为该目录中的那个，一切正常。 指令 该代码库是用python3编写的。 要运行DQN，请使用： python -m dqn_learning.train --games < NUM> 要运行演员评论家，请使用： python -m actor_critic.train --games < NUM_OF_EPISODES_TO_
深度强化学习-DQN 算法及 Actor-Critic 算法-笔记（五）
wield_jjz的博客
10-30 1446
DQN算法及 Actor-Critic 算法DQNQ-learning状态价值函数 State Value Function DQN Q-learning 状态价值函数 State Value Function
一个专注于深度强化学习算法实现与教学的开源项目库-包含Deep-Q-Network-Double-DQN-Dueling-DQN-Actor-Critic-Deep-Determi.zip
10-27
DQN算法通过引入经验回放和目标网络来稳定训练过程，并且对于状态空间有限且离散的环境特别有效。Double DQN则在DQN的基础上进行改进，通过分离选择动作和评估动作的神经网络来减少动作价值的过高估计。Dueling DQN...
强化学习——DQN 算法与Actor-Critic
sosososoon的博客
11-03 2857
DQN 算法
RL学习笔记-4-DQN 算法及 Actor-Critic 算法
阿凡齐的博客
11-03 279
Task04：DQN 算法及 Actor-Critic 算法
Thoth_A的博客
11-03 492
DQN 是指基于深度学习的 Q-learning 算法，主要结合了价值函数近似(Value Function Approximation)与神经网络技术，并采用了目标网络和经历回放的方法进行网络的训练。 第二个 tip 是 Dueling DQN。其实 Dueling DQN 也蛮好做的，相较于原来的 DQN，它唯一的差别是改了 network 的架构。Q-network 就是 input state，output 就是每一个 action 的Q value。Dueling DQN 唯一做的事情是改了 ne
第三章 DQN算法及Actor-Critic算法
qq_41491023的博客
11-02 1577
Double DQN 接下来要讲的是 train Q-learning 的一些 tip。第一个 tip 是做 Double DQN。那为什么要有 Double DQN 呢？因为在实现上，你会发现 Q value 往往是被高估的。上图来自于 Double DQN 的原始 paper，它想要显示的结果就是 Q value 往往是被高估的。 这边有 4 个不同的小游戏，横轴是 training 的时间，红色锯齿状一直在变的线就是 Q-function 对不同的 state estimate 出来的平均 .
DQN相关知识总结及演员-评论员算法介绍（DataWhale组队学习笔记）
Savarus的博客
08-28 632
DQN深度Q网络相关知识，以及演员-评论员算法的简单解释
DQN（deep Q-network）算法简述
热门推荐
星海浮生
03-11 5万+
基本概念；进阶技巧；连续动作的场景
强化学习基础算法介绍，DQN，策略梯度算法，Actor-Critic算法
weixin_41106546的博客
04-05 2078
在 Q-learning 算法中，我们以矩阵的方式建立了一张存储每个状态下所有动作值的表格。表格中的每一个动作价值表示在状态s下选择动作a然后继续遵循某一策略预期能够得到的期望回报。然而，这种用表格存储动作价值的做法只在环境的状态和动作都是离散的，并且空间都比较小的情况下适用，我们之前进行代码实战的几个环境都是如此（如悬崖漫步）。当状态或者动作数量非常大的时候，这种做法就不适用了。例如，当状态是一张 RGB 图像时，假设图像大小是210x160x3，此时一共有种状态。
强化学习算法学习汇总笔记 (二) — Actor Critic、DDPG、A3C、
Hansry的博客
06-27 9951
一. Actor Critic 1.基本概念 Actor Critic 为类似于Policy Gradient 和 Q-Learning 等以值为基础的算法的组合。 a. 其中Actor 类似于Policy Gradient，以状态s为输入，神经网络输出动作actions，并从在这些连续动作中按照一定的概率选取合适的动作action。 b. Critic 类似于 Q-Learning 等以...
深度强化学习总结(DQN,DDQN,Actor-Critic,DDPG)
endlessne的博客
01-10 6260
DQN与Double DQN的区别： DQN： YtDQN=Rt+1+γmaxaQ(St+1,a:θt−)Y^{DQN}_t=R_{t+1}+ \gamma\underset{a}{max}Q(S_{t+1},a:\theta^-_t)YtDQN​=Rt+1​+γamax​Q(St+1​,a:θt−​). 即模型输出的为Q值,然后根据Q值去计算 YDQNY^{DQN}YDQN. Doube DQN： YtDoubleDQN=Rt+1+γQ(St+1,argmaxaQ(St+1,a:θt);θt−)Y^{D
【强化学习】Actor-Critic公式推导分析
开贰锤
07-06 1万+
注：actor以及critic可以分别看作是policy以及value function的同义词。 Actor-Critic算法是目前一个非常流行常用的强化学习算法，广泛应用于机器人，能源，经济等领域。通过low-variance（低方差）以及policy gradient（策略梯度）在线搜索最优策略，可以处理连续的state（状态）以及连续的action（行为）。 强化学习的方法可以分为以下三
DQN 相比于Actor-Critic框架的其他方法有什么优势
最新发布
11-04
1. **算法简洁性**：DQN算法结构相对简单，只需要学习一个Q网络，而Actor-Critic通常需要同时学习策略网络（Actor）和值网络（Critic），结构更复杂。 2. **训练稳定性**：DQN通过经验回放和目标网络等技术来稳定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值