强化学习 | 蘑菇书阅读笔记 | 第七章 DQN（进阶技巧）

最新推荐文章于 2024-04-13 17:47:46 发布
VIP文章 最新推荐文章于 2024-04-13 17:47:46 发布
阅读量323 收藏
点赞数
分类专栏： 强化学习 文章标签： 学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46219381/article/details/129339638
版权

一、双深度Q网络(DDQN)

Q^值总是被高估。下图中，假设横坐标是a，纵坐标是Q^，蓝色是实际值，绿色是被高估的值。我们总倾向于选择《Q^值被高估的动作a》计算目标函数，因此目标函数往往被高估。

 解决方法：

二、竞争深度Q网络(dueling DQN)

原来的DQN中，Q函数输出的是Q(s,a)，现在输出两个值，一个是V(s),一个是A(s,a)。V(s)与A(s,a)之和为Q(s,a)。

假设我们采样到a1，a2而没有采样到a3。在原来的DQN中，只有Q(s,a1)和Q(s,a2)会被更新；而在竞争深度Q网络中，因为我们更新的是V(s),所以Q（s，a3）也被更新了。

为了避免模型坍缩到V(s)恒等于0的情况，我们给A(s,a)做一些限制，使它的更新更困难一些，让模型倾向于更新V。一个简单的想法是，要求对于每个s，A(s,a)的均值为0。这种情况下，A(s,a)可以看做0均值化的Q(s,a)，而V(s)就是这个均值。

三、优先级经验回放

replay buffer中有些数据的TD error特别大，可以给这些数据增加一个优先权，它们将会更容易被采样到。

四、蒙特卡洛和时序差分的平衡</

最低0.47元/天 解锁文章
Charlie_1541
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习DQN笔记.md
08-21
内容概要： 本文深入探讨了强化学习（Reinforcement Learning）以及深度强化学习（Deep Reinforcement Learning）的关键概念和应用。文章首先介绍了强化学习的基本概念，如目标、交互方式等，然后详解了马尔科夫决策...
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想
zhangxiaolil的博客
11-05 2101
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想 强化学习的五大要素： State、Action、Reward、Discount factor （r）、P 转移概率。 Q-Learning思想过程 Q-learning是强化学习中基于价值的算法，是一种off-policy、免模型策略。 Q-Learning就是在环境的某一个时刻的状态(state)下，采取动作集中的一个动作a能够获得收益的期望，环境会根据agent的动
深度强化学习——DQN算法原理
热门推荐
weixin_44732379的博客
11-14 5万+
深度Q网络与Q学习的目标价值以及价值的更新方式都非常相似。主要的不同在于：深度Q网络将Q学习与深度学习结合，用深度网络来近似动作价值函数，而Q学习则是采用表格存储；深度Q网络采用经验回放的训练方式，从历史数据中随机采样，而Q学习直接采用下一个状态的数据进行学习。
（10-5）强化推荐学习：双重深度 Q 网络算法
码农三叔
03-24 936
DQN 在训练过程中存在一些问题，其中一个主要问题是对目标 Q 值的估计过于乐观。DQN使用同一个神经网络进行当前状态的 Q 值估计和目标 Q 值的估计，这会导致估计的 Q 值偏高，因为在更新 Q 值时使用了同一个网络的输出。DDQN通过引入目标网络（Target Network）来解决这个问题。目标网络是一个与主网络（Policy Network）相互独立的网络，用于计算目标 Q 值。在训练过程中，目标网络的参数是固定的，而主网络的参数进行更新。这样可以减少估计目标 Q 值时的过高估计问题。
强化学习进阶——DQN
baymax_007的博客
10-04 2173
目录 预备知识 基本概念 目标和约束条件 MDP马尔可夫决策过程 假设 基本概念 计算价值函数 Action-Value Function动作价值函数 Optimal value function最优价值函数 策略迭代和值迭代 Q-Learning Q-Learning算法 EE问题 DQN Q-Learning神经网络化 DQN算法及其改进 NIPS DQN ...
强化学习（二）-DQN
weixin_43146317的博客
12-20 1873
强化学习-DQN(二) DQN（Deep Q Learning） Deep Q-Learning算法的基本思路来源于Q-Learning。但是和Q-Learning不同的地方在于，它的Q值的计算不是直接通过状态值s和动作来计算，而是通过上面讲到的Q网络来计算的。这个Q网络是一个神经网络，我们一般简称Deep Q-Learning为DQN。 DQN的输入是我们的状态s对应的状态向量ϕ(s)， 输出是所有动作在该状态下的动作价值函数Q。Q网络可以是DNN，CNN或者RNN，没有具体的网络结构要求。 DQN主要使
深度强化学习中Double DQN算法（Q-Learning+CNN）的讲解及在Asterix游戏上的实战（超详细 附源码）
showswoller的博客
11-26 1712
深度强化学习中Double DQN算法（Q-Learning+CNN）的讲解及在Asterix游戏上的实战（超详细 附源码）
第7课 强化学习中的深度Q网络(DQN)
10-17
第7课 强化学习中的深度Q网络(DQN)
莫烦老师 走迷宫 智能强化学习DQN算法实现，开箱即用
12-30
https://mofanpy.com/tutorials/machine-learning/reinforcement-learning/intro-DQN/
深度强化学习DQN算法源码【Pytorch实现·超详细注释】
08-28
基于Pytorch实现的深度强化学习DQN算法源代码，具有超详细的注释，已经在诸多项目中得到了实际应用。主要包含2个文件：（1）dqn.py，实现DQN只能体的结构、经验重放池、Q神经网络、学习方法等；（2）runner.py，使用...
breakout-Deep-Q-Network:强化学习| 在Atari Breakout上执行DQN，对决DQN和Double DQN的tensorflow实现
05-11
:person_running: [强化学习]在Atari Breakout游戏上执行的Deep Q Network（DQN），决斗DQN和Double DQN的张量流实现 安装 键入以下命令以安装OpenAI Gym Atari环境。 $ pip3 install opencv-python gym gym[atari...
【深度强化学习】深度Q网络DQN
weixin_45523256的博客
02-11 2138
[深度强化学习]DQN DQN是将深度学习和强化学习结合起来而实现从感知到动作的端对端的全新算法。 深度Q学习的核心就是用一个人工神经网络q ( s , a ; θ ) , s ∈ S , a ∈ A来代替动作价值函数。 DQN的算法流程： Q-leaning和DQN的区别 与Q-Learning相比，DQN主要改进在以下三个方面： （1）DQN利用深度卷积网络(Convolutional Neural Networks,CNN)来逼近值函数； （2）DQN利用经验回放训练强化学习的学习过程； （3）D
（六）深度Q网络
gls_nuaa的博客
03-30 5382
  前言：深度Q网络，又叫DQN   传统的强化学习中存储状态价值或者Q函数都是使用的表格(比如之前的Q表格)，学名叫查找表(lookup table)。这个有什么问题吗？一个大问题就是只有离散情况(可穷尽)能够被存在于表格中。对于==连续的状态空间怎么办呢？==最气人的就是，现实中还总是连续的状态空间。这个时候就不能够用表格对价值函数进行存储。这时候需要价值函数近似来解决这个问题。   价值函数近似(value function approximation)：为了在连续的状态和动作空间中计算Q函数，使用另
强化学习经典算法笔记(六)：深度Q值网络 Deep Q Network
hhy_csdn的博客
04-17 1万+
前期回顾 强化学习经典算法笔记(零)：贝尔曼方程的推导 强化学习经典算法笔记(一)：价值迭代算法Value Iteration 强化学习经典算法笔记(二)：策略迭代算法Policy Iteration 强化学习经典算法笔记(三)：蒙特卡罗方法Monte Calo Method 强化学习经典算法笔记(四)：时间差分算法Temporal Difference（Q-Learning算法） 强化学习经典算...
深度Q网络-DQN、double DQN、经验回放、rainbow、分布式DQN
07-16 446
深度Q网络-DQN、double DQN、经验回放、rainbow、分布式DQN
【强化学习】深度Q网络(DQN)求解倒立摆问题 + Pytorch代码实战
知不足而奋进，望远山而前行
10-22 2万+
Agent 必须在两个动作之间做出决定 - 向左或向右移动推车 - 以使连接到它的杆保持直立。 深度 Q\mathrm{Q}Q 网络算法是这样的，我们初始化两个网络 ：估计网络 QQQ 和 目标网络 Q^，Q^\hat{Q} ， \hat{Q}Q^​，Q^​ 就等于 QQQ ，一开始 目标网络 Q^\hat{Q}Q^​ 与原来的 QQQ 网络是一样的。在每一个回合中，我们用演员与环境交互，在每一次交互的过程中，都会得到一个 状态 sts_tst​ ，会采取某一个动作 at。a_{t 。}at。​ 怎么知道采
【EasyRL学习笔记】第七章 深度Q网络进阶技巧(Double-DQN、Dueling-DQN、Noisy-DQN、Distributional-DQN、Rainbow-DQN)
知不足而奋进，望远山而前行
10-22 2万+
第一个技巧是双深度Q网络（double DQN，DDQN）。为什么要有DDQN呢？因为在实现上，Q 值往往是被高估的。如下图所示，这里有 4 个不同的小游戏，横轴代表迭代轮次，红色锯齿状的一直在变的线表示Q函数对不同的状态估计的平均 Q 值，有很多不同的状态，每个状态我们都进行采样，算出它们的 Q 值，然后进行平均。这条红色锯齿状的线在训练的过程中会改变，但它是不断上升的。因为Q函数是取决于策略的，在学习的过程中策略越来越强，我们得到的 Q 值会越来越大。在同一个状态， 我们得到奖励的期望会越来越大，所以一
双Q网络(DoubleDQN)原理与实现
最新发布
AGI通用人工智能之禅
04-13 1021
强化学习是近年来人工智能领域研究的一个热点方向,其中深度强化学习更是受到了广泛关注。深度Q网络(Deep Q-Network, DQN)作为深度强化学习的经典算法,在多种游戏环境中取得了令人瞩目的成绩。然而,标准的DQN算法也存在一些局限性,比如过高的方差和目标值过高估计等问题。为了解决这些问题,Hado van Hasselt等人在2015年提出了双Q网络(Double DQN, DoubleDQN)算法。
DQN中在线强化学习与离线强化学习
11-26
DQN是一种基于深度学习的强化学习算法，它可以用于在线强化学习和离线强化学习。在线强化学习是指智能体与环境进行交互，从实时的奖励信号中学习策略。而离线强化学习则是从先前的经验数据中学习策略，而不需要与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值