强化学习（十）Double DQN (DDQN)

最新推荐文章于 2024-03-24 16:39:03 发布
最新推荐文章于 2024-03-24 16:39:03 发布
阅读量6.9k 收藏 27
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenyusuran/article/details/98035287
版权

　　　在强化学习（九）Deep Q-Learning进阶之Nature DQN中，我们讨论了Nature DQN的算法流程，它通过使用两个相同的神经网络，以解决数据样本和网络训练之前的相关性。但是还是有其他值得优化的点，文本就关注于Nature DQN的一个改进版本: Double DQN算法（以下简称DDQN）。

　　　　本章内容主要参考了ICML 2016的deep RL tutorial和DDQN的论文<Deep Reinforcement Learning with Double Q-learning>。

1. DQN的目标Q值计算问题

　　　　在DDQN之前，基本上所有的目标Q值都是通过贪婪法直接得到的，无论是Q-Learning， DQN(NIPS 2013)还是 Nature DQN，都是如此。比如对于Nature DQN,虽然用了两个Q网络并使用目标Q网络计算Q值，其第j个样本的目标Q值的计算还是贪婪法得到的，计算入下式：

yj={RjRj+γmaxa′Q′(ϕ(S′j),A′j,w′)is_endjistrueis_endjisfalseyj={Rjis_endjistrueRj+γmaxa′Q′(ϕ(Sj′),Aj′,w′)is_endjisfalse

　　　　使用max虽然可以快速让Q值向可能的优化目标靠拢，但是很容易过犹不及，导致过度估计(Over

最低0.47元/天 解锁文章
文宇肃然
关注
  • 1
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
双Q网络(DDQN)算法原理
AGI通用人工智能之禅
04-09 734
非常感谢您提供如此详细的任务要求和约束条件。作为一位世界级人工智能专家和计算机领域大师,我将尽我所能以专业的技术语言和深入的洞见,为您撰写一篇高质量的技术博客文章。 双Q网络(DDQN)算法原理 1. 背景介绍 增强学习是一种通过与环境的交互来学习最优行为策略的机器学习范式。在增强学
一切皆是映射：深入探索DQN的改进版本：从DDQN到PDQN
最新发布
禅与计算机程序设计艺术
06-03 324
1.背景介绍 深度强化学习（Deep Reinforcement Learning，DRL）是人工智能领域的热门研究方向之一，其核心任务是训练智能体（agent）在环境中进行交互，以实现一定的目标。DQN（Deep Q-Network）是DRL的一种经典算法，它使用深度神经网络（DNN）来估计状态-action值函数，并采用经典的Q-learning方
深度强化学习-Double DQN算法原理与代码
weixin_46133643的博客
12-11 3万+
Double Deep Q-learning(DDQN)是对DQN算法的改进，有效提升了算法的性能，本文就带领大家了解一下这个算法，Double Q-learning算法的论文链接见下方。 论文：https://ojs.aaai.org/index.php/AAAI/article/view/10295 代码：后续会将代码上传到Github上... 1 DDQN算法简介 ...
强化学习DQN、DDQN和Dueling DQN的原理介绍与PARL核心代码解析
秋水中的鱼的博客
07-23 2万+
摘要 本文主要介绍DQN算法的基本原理，以及在它基础上改进的DDQN和Dueling DQN，介绍完后会结合对应的PARL代码进行解析说明（PARL 是一个高性能、灵活的强化学习框架）。 三篇相关的论文地址如下，接下去的三个小节会围绕这三篇论文的重点部分进行剖析。 DQN：Human-level Control Through Deep Reinforcement Learning DDQN：Deep Reinforcement Learning with Double Q-learning Dueling
（10-5）强化推荐学习：双重深度 Q 网络算法
码农三叔
03-24 1276
DQN 在训练过程中存在一些问题，其中一个主要问题是对目标 Q 值的估计过于乐观。DQN使用同一个神经网络进行当前状态的 Q 值估计和目标 Q 值的估计，这会导致估计的 Q 值偏高，因为在更新 Q 值时使用了同一个网络的输出。DDQN通过引入目标网络（Target Network）来解决这个问题。目标网络是一个与主网络（Policy Network）相互独立的网络，用于计算目标 Q 值。在训练过程中，目标网络的参数是固定的，而主网络的参数进行更新。这样可以减少估计目标 Q 值时的过高估计问题。
DQN的理解
qingguideng的博客
06-16 472
DQN的理解 假设从经验池中随机取出数据： （s1,a1,r1,s2,False）, （s7,a7,r7,s8,False）， (s18,a18,r18,s19,Flase)。 目标值网络这边：在第一条数据中，把下一状态s2输出到神经网络中，将输出该状态下，各个动作对应的Q值，记作Q1_next。比如Q1_next=（0.5，0.6，0.9，0.2），意思是s2状态下执行a1的Q值为0.5，执行a2的Q值为0.6，执行a3的Q值为0.9，执行a4的Q值为0.2。这对应着第一张图目标值网络对应的输出。
强化学习 9 —— DQN 改进算法 DDQN、Dueling DQN 详解与tensorflow 2.0实现
靡不有初鲜克有终
08-10 7171
上篇文章强化学习——详解 DQN 算法我们介绍了 DQN 算法，但是 DQN 还存在一些问题，本篇文章介绍针对 DQN 的问题的改进算法 一、Double DQN 算法 1、算法介绍 DQN的问题有：目标 Q 值（Q Target ）计算是否准确？全部通过 max  Qmax\;QmaxQ 来计算有没有问题？很显然，是有问题的，这是因为Q-Learning 本身固有的缺陷—过估计 过估计是指估计得值函数比真实值函数要大，其根源主要在于Q-Learning中的最大化操作，对于 TD Target： r+γ  
deep-reinforcement-learning_DDQN_PPO_HER:适用于OpenAI的Gym游戏的MLP框架（纯numpy）和DDQN框架。 +添加了PPO的测试代码。 + Hindsight Experience Replay（HER）bitflip-DQN示例。 +优先重播
05-17
游戏中的深度强化学习 适用于OpenAI的健身游戏环境的MLP框架和DDQN框架。 -用numpy编写查看中的。 安装 mlp_framework.py应该能够在几乎所有可以解释python3 （和numpy ）的东西上运行。 ddqn_framework.py还使用下载仓库并运行jupyter笔记本。
Double-DQN-demo.zip
08-23
在本文中，我们将深入探讨与"Double-DQN-demo.zip"相关的强化学习实战知识。强化学习是一种机器学习方法，通过与环境交互，智能体通过试错来学习最优策略以最大化长期奖励。在这个压缩包中，我们有四个关键文件：run...
基于pytorch实现Vanilla DQN Double DQN 和Dueling DQN源码.zip
05-03
在深度强化学习（Deep Reinforcement Learning, DRL）领域，Vanilla DQN、Double DQN 和 Dueling DQN 是三种重要的Q学习算法的变体，它们都基于深度神经网络来近似Q函数。PyTorch是一个流行的开源深度学习框架，非常...
深度强化学习研究进展.pdf
08-19
在本文中，我们将深入探讨这一领域的研究进展，主要包括深度学习与强化学习的基础知识，以及深度强化学习的核心算法DQN及其变种。 深度学习是一种模拟人类大脑神经网络结构的机器学习方法，它通过多层非线性变换对...
DDQN的Pytorch实现.zip
05-19
使用Pytorch和多项式分布采样实现DDQN算法 DDQN和Nature DQN一样，也有一样的两个Q网络结构。在Nature DQN的基础上，通过解耦目标Q值动作的选择和目标Q值的计算这两步，来消除过度估计的问题。
Deep-Reinforcement-Learning-Hands-On_deepreinforcement_强化学习_
10-04
1. **DDQN (Double Deep Q-Networks)**: 为了解决DQN中过度乐观的估计问题，DDQN引入了双重Q学习的概念，用一个网络选择动作，另一个网络评估动作，减少了高估的动作价值。 2. **A3C (Asynchronous Advantage Actor...
Python-深度强化学习的相关教程和代码
08-11
2. **Double DQN (DDQN)**: 解决了DQN中过度乐观的问题，通过分离选择和评估动作的网络来减少过估计。 3. **Prioritized Experience Replay (PER)**: 优先级回放缓冲区，使得样本重采样更加有效，优先处理具有高信息...
强化学习入门（五）：Q-learning算法系列2：进阶算法
weixin_45459911的博客
04-18 1161
文章目录一、Double DQN（DDQN）1、引出原因2、DDQN基本原理二、Dueling DQN1、创新点2、优势所在三、优先回放（Prioritized Experience Replay）四、Multi-step: Combination of MC and TD五、Noisy Net1、创新点——在参数上加noise2、优势六、Distributional Q-function1、提出...
强化学习-DDQN
huihui__huihui的博客
08-08 1392
DDQN和DQN基本上很像，不同的地方可以参考书本的132页   代码实现 import torch.nn as nn import torch.nn.functional as F import random import torch from torch import nn from torch import optim import gym import numpy as np from collections import namedtuple import warnings
入门强化学习（Q-learning→DQN→DDQN）
不精，不诚，不足以动人
08-06 4547
基础： 只要具备CNN分类算法的基本认识。 讲解内容： 内容主要通过《飞翔小鸟》游戏为例，探究如下2个问题： 强化学习原理：以Q-learning算法为例。 深度强化学习原理：以DQN、DDQN算法为例。 然后大概讲下DDQN算法，如何在更复杂的解锁任务中应用和设计。 学完收获： 认真看完所有细节内容，基本就能了解一种强化学习和一种深度强化学习的整个过程，其他算法可以举一反三。 备注：由于资料大多从PPT中截取出来，转成文章可能会有一些不理解的地方，如有细节疑问可以留言提出来。 0
图解DQN，DDQN，DDPG网络
Echooo的博客
04-03 1万+
图解DQN，DDQN，DDPG网络1. DQN1.1 网络结构1.2 产生experience的过程1.3 Q网络的更新流程2. DDQN2.1 网络结构2.2 产生experience的过程2.3 Q网络的更新流程3. DDPG3.1 网络结构3.2 产生experience的过程3.3 Actor网络的更新流程3.4 Critic网络的更新流程 1. DQN 深度Q网络(Deep Q Network)适用于动作离散的强化学习任务 1.1 网络结构 深度Q网络有两个网络结构，如下所示： Q网络输入是状态
深度强化学习——DQN算法原理
热门推荐
weixin_44732379的博客
11-14 5万+
深度Q网络与Q学习的目标价值以及价值的更新方式都非常相似。主要的不同在于：深度Q网络将Q学习与深度学习结合，用深度网络来近似动作价值函数，而Q学习则是采用表格存储；深度Q网络采用经验回放的训练方式，从历史数据中随机采样，而Q学习直接采用下一个状态的数据进行学习。
值函数强化学习-DQN、DDQN和Dueling DQN算法公式推导分析
11-08
DQN算法是一种基于Q-learning的深度强化学习算法，其目标是学习一个Q函数，使得该函数能够最大化累积奖励。DDQN算法是对DQN算法的改进，通过解决DQN算法中过高估计Q值的问题，提高了算法的性能。Dueling DQN算法则是在DDQN算法的基础上，提出了一种新的神经网络结构，使得算法的学习效率更高。 下面是DQN算法的公式推导分析： 1. Q-learning的更新公式为：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha(r_{t+1} + \gamma \max_{a} Q(s_{t+1},a) - Q(s_t,a_t))$ 2. DQN算法使用了深度神经网络来逼近Q函数，将更新公式改为：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha(r_{t+1} + \gamma \max_{a} Q(s_{t+1},a; \theta^-) - Q(s_t,a_t; \theta))$，其中$\theta$为当前网络的参数，$\theta^-$为目标网络的参数，$\max_{a} Q(s_{t+1},a; \theta^-)$表示在下一个状态$s_{t+1}$中，选择动作$a$所得到的最大Q值。 3. DDQN算法在DQN算法的基础上，使用了双网络结构，解决了DQN算法中过高估计Q值的问题。更新公式为：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha(r_{t+1} + \gamma Q(s_{t+1},\arg\max_{a} Q(s_{t+1},a; \theta); \theta^-) - Q(s_t,a_t; \theta))$，其中$\arg\max_{a} Q(s_{t+1},a; \theta)$表示在下一个状态$s_{t+1}$中，选择动作$a$所得到的最大Q值对应的动作。 4. Dueling DQN算法在DDQN算法的基础上，提出了一种新的神经网络结构，使得算法的学习效率更高。具体来说，Dueling DQN算法的输出包括两个分支，分别是该状态的状态价值V(标量)和每个动作的优势值A(与动作空间同维度的向量)。网络结构如下图所示： [Dueling DQN网络结构](https://img-blog.csdn.net/20170727145756345?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hlbnhpYW9fYmFpZHUx/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/q/80) 更新公式为：$Q(s_t,a_t) \leftarrow V(s_t) + (A(s_t,a_t) - \frac{1}{|\mathcal{A}|} \sum_{a} A(s_t,a))$，其中$V(s_t)$表示状态$s_t$的价值，$A(s_t,a_t)$表示在状态$s_t$下选择动作$a_t$的优势值，$\frac{1}{|\mathcal{A}|} \sum_{a} A(s_t,a)$表示所有动作的平均优势值。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值