DQN 算法及 Actor-Critic 算法

最新推荐文章于 2024-07-04 18:02:09 发布
最新推荐文章于 2024-07-04 18:02:09 发布
阅读量1k 收藏 2
点赞数
分类专栏： 机器学习 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hezzfew/article/details/109464941
版权
本文详细介绍了DQN算法的关键概念，包括深度Q学习、目标网络、经验回放以及Double和Dueling DQN的改进。同时，文章探讨了Actor-Critic方法，如A2C和A3C，以及Pathwise Derivative Policy Gradient在连续动作空间中的应用。
摘要由CSDN通过智能技术生成

DQN 算法及 Actor-Critic 算法

1 关键概念

  • DQN(Deep Q-Network)： 基于深度学习的Q-learning算法，其结合了 Value Function Approximation（价值函数近似）与神经网络技术，并采用了目标网络（Target Network）和经历回放（Experience Replay）的方法进行网络的训练。

  • State-value Function： 本质是一种critic。其输入为actor某一时刻的state，对应的输出为一个标量，即当actor在对应的state时，预期的到过程结束时间段中获得的value的数值。

  • State-value Function Bellman Equation： 基于state-value function的Bellman Equation，它表示在状态 s_t 下带来的累积奖励 G_t 的期望。

  • Q-function: 其也被称为state-action value function。其input 是一个 state 跟 action 的 pair，即在某一个 state 采取某一个action，假设我们都使用 actor pi，得到的 accumulated reward 的期望值有多大。

  • Target Network： 为了解决在基于TD的Network的问题时，优化目标

最低0.47元/天 解锁文章
hezzfew
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习基础篇[3]：DQN、Actor-Critic详解
丨汀、的博客
06-03 811
在之前的内容中，我们讲解了Q-learning和Sarsa算法。在这两个算法中，需要用一个Q表格来记录不同状态动作对应的价值，即一个大小为状态个数，动作个数[状态个数，动作个数]状态个数，动作个数的二维数组。在一些简单的强化学习环境中，比如迷宫游戏中（图1a），迷宫大小为4*4，因此该游戏存在16个state；而悬崖问题（图1b）的地图大小为 4*12，因此在该问题中状态数量为48，这些都属于数量较少的状态，所以可以用Q表格来记录对应的状态动作价值。
强化学习打卡之DQN与Actor-Critic
weixin_41560321的博客
11-03 2745
强化学习打卡之DQN DQN为了解决动作空间过大造成维数灾难问题在Q-learning的基础上引入了神经网络。DQN 主要是把 Q 函数通过价值函数近似方法转换为一个深度神经网络。神经网络输入的是状态，输出每个动作的Q值。 前面学过Q-learning 是一种value-based的方法，不是学习策略，而是说有一个critic通过MC based的方法或者TD based的方法得出状态值函数 V π（s）进行 Policy Evaluation(策略评估)。 MC VS.TD 由上图MC和TD的更新公式可知
强化学习组队学习task04—— DQN 算法及 Actor-Critic 算法
weixin_45325331的博客
11-03 1429
文章目录一、DQN1.状态价值函数的估计方法2.Q函数3.DQN网络中的tips（1）目标网络（2）Exploration（3）Experience Replay(经验回放)4.DQN算法总结二、Q-learning进阶三、连续行为的Q-learning四、Actor-critic 一、DQN 在 Q-learning 中，我们使用表格来存储每个状态 s 下采取动作 a 获得的奖励，即状态-动作值函数 。然而，这种方法在状态量巨大甚至是连续的任务中，会遇到维度灾难问题，往往是不可行的。因此，DQN 是指基于
深度Q网络（DQN）算法技术博客
最新发布
TheJustice_的博客
07-04 1228
DQN算法通过结合Q学习与深度神经网络，解决了高维状态空间下的强化学习问题。本文详细介绍了DQN的基本原理、关键步骤和具体的代码实现，希望能够帮助读者更好地理解和应用这一算法。如果在实际应用中遇到问题，可以参考相关文献和开源代码库，进一步优化和改进。
DQN算法及actor-critic算法（强化学习蘑菇书第六七八章）
weixin_43405049的博客
07-24 1437
强化学习蘑菇书DQN部分
halite-3:DQN和Actor-Critic在Halite 3中的应用
04-17
DQN和Actor-Critic应用于Halite halite引擎的API包含在hlt中。 对此进行了一些自定义修改，以使游戏和测试更加容易。 如何运行代理 可执行文件halite是在Ubuntu 18.04上构建的，因此只能在Ubuntu 18.04上运行。 如果您尝试在Mac或Windows操作系统上运行此程序，则需要转到 ，下载相应的python3入门工具包，您将在其中找到预构建的halite可执行文件。 替换为该目录中的那个，一切正常。 指令 该代码库是用python3编写的。 要运行DQN，请使用： python -m dqn_learning.train --games < NUM> 要运行演员评论家，请使用： python -m actor_critic.train --games < NUM_OF_EPISODES_TO_
强化学习——DQN 算法与Actor-Critic
sosososoon的博客
11-03 2712
DQN 算法
RL学习笔记-4-DQN 算法及 Actor-Critic 算法
阿凡齐的博客
11-03 200
Task04：DQN 算法及 Actor-Critic 算法
Thoth_A的博客
11-03 372
DQN 是指基于深度学习的 Q-learning 算法，主要结合了价值函数近似(Value Function Approximation)与神经网络技术，并采用了目标网络和经历回放的方法进行网络的训练。 第二个 tip 是 Dueling DQN。其实 Dueling DQN 也蛮好做的，相较于原来的 DQN，它唯一的差别是改了 network 的架构。Q-network 就是 input state，output 就是每一个 action 的Q value。Dueling DQN 唯一做的事情是改了 ne
深度强化学习-DQN 算法及 Actor-Critic 算法-笔记（五）
wield_jjz的博客
10-30 1162
DQN算法及 Actor-Critic 算法DQNQ-learning状态价值函数 State Value Function DQN Q-learning 状态价值函数 State Value Function
actor-critic 相关算法简述
星海浮生
03-15 2261
asynchronous advantage actor-critic（A3C）；pathwise derivative policy gradient；actor-critic 与 GAN 的关系
第三章 DQN算法及Actor-Critic算法
qq_41491023的博客
11-02 1342
Double DQN 接下来要讲的是 train Q-learning 的一些 tip。第一个 tip 是做 Double DQN。那为什么要有 Double DQN 呢？因为在实现上，你会发现 Q value 往往是被高估的。上图来自于 Double DQN 的原始 paper，它想要显示的结果就是 Q value 往往是被高估的。 这边有 4 个不同的小游戏，横轴是 training 的时间，红色锯齿状一直在变的线就是 Q-function 对不同的 state estimate 出来的平均 .
深度学习、强化学习：用PyTorch实现强化学习中的基于价值函数的方法DQN及ActorCritic方法
禅与计算机程序设计艺术
07-31 1729
人工智能领域中，基于价值函数的方法是指采用状态和动作的函数来计算返回值（即价值）的机器学习方法，在游戏领域，这些方法被广泛应用于最优决策问题的求解上。近几年，随着深度学习技术的发展，基于价值函数的方法得到了越来越多的应用。本文将介绍DQN和Actor-Critic方法，并基于PyTorch框架进行相应的代码实践。希望能够帮助读者更好的理解强化学习相关算法的工作原理，并顺利完成项目实践。深度Q网络（Deep Q Network，DQN）是DQN算法的一种变体，其核心思想是使用深度神经网络拟合状态价值函数Q。
DQN（deep Q-network）算法简述
星海浮生
03-11 5万+
基本概念；进阶技巧；连续动作的场景
强化学习基础算法介绍，DQN，策略梯度算法，Actor-Critic算法
weixin_41106546的博客
04-05 1071
在 Q-learning 算法中，我们以矩阵的方式建立了一张存储每个状态下所有动作值的表格。表格中的每一个动作价值表示在状态s下选择动作a然后继续遵循某一策略预期能够得到的期望回报。然而，这种用表格存储动作价值的做法只在环境的状态和动作都是离散的，并且空间都比较小的情况下适用，我们之前进行代码实战的几个环境都是如此（如悬崖漫步）。当状态或者动作数量非常大的时候，这种做法就不适用了。例如，当状态是一张 RGB 图像时，假设图像大小是210x160x3，此时一共有种状态。
强化学习算法学习汇总笔记 (二) — Actor Critic、DDPG、A3C、
Hansry的博客
06-27 9580
一. Actor Critic 1.基本概念 Actor Critic 为类似于Policy Gradient 和 Q-Learning 等以值为基础的算法的组合。 a. 其中Actor 类似于Policy Gradient，以状态s为输入，神经网络输出动作actions，并从在这些连续动作中按照一定的概率选取合适的动作action。 b. Critic 类似于 Q-Learning 等以...
深度强化学习总结(DQN,DDQN,Actor-Critic,DDPG)
endlessne的博客
01-10 3986
DQN与Double DQN的区别： DQN： YtDQN=Rt+1+γmaxaQ(St+1,a:θt−)Y^{DQN}_t=R_{t+1}+ \gamma\underset{a}{max}Q(S_{t+1},a:\theta^-_t)YtDQN​=Rt+1​+γamax​Q(St+1​,a:θt−​). 即模型输出的为Q值,然后根据Q值去计算 YDQNY^{DQN}YDQN. Doube DQN： YtDoubleDQN=Rt+1+γQ(St+1,argmaxaQ(St+1,a:θt);θt−)Y^{D
深度增强学习（DRL）漫谈 - 从AC（Actor-Critic）到A3C（Asynchronous Advantage Actor-Critic）
热门推荐
世事难料，保持低调
06-04 5万+
原文地址：http://blog.csdn.net/jinzhuojun/article/details/72851548 前言 之前在文章《深度增强学习（DRL）漫谈 - 从DQN到AlphaGo》扯了一些关于DRL的内容，但因为是以DQN为主线，其中大部分谈的是value-based方法。我们知道传统增强学习（Reinforcement learning, RL）中除了value-ba
"深度强化学习原理与分类：DQN、策略学习、Actor-critic解析
在Actor-critic算法中，智能体同时学习一个策略网络（Actor）和一个值函数网络（Critic）。策略网络根据当前状态选择动作，而值函数网络评估策略的好坏并提供反馈信号，使得策略网络能够进行调整和改进。 强化学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值