【DQN高级技巧2】DQN高估问题：Target Network和Double DQN

最新推荐文章于 2024-02-19 08:46:38 发布
最新推荐文章于 2024-02-19 08:46:38 发布
阅读量495 收藏 2
点赞数 2
分类专栏： 深度强化学习 文章标签： 深度强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44319285/article/details/127355476
版权

Bootstrapping 自举

在强化学习中，自举表示用一个估算去更新同类的估算
在这里插入图片描述
在更新梯度的时候我们用到了 y t y_t yt​，但 y t y_t yt​又部分基于DQN
即为了更新DQN在t时刻的估计，我们用到DQN在t+1时刻的估计，出现了自举
在这里插入图片描述

出现的问题：

用TD算法更新DQN会导致DQN高估动作的真实价值

高估的原因：

在这里插入图片描述

1.计算TD Target的时候用到了最大化 会导致高估
2.bootstrapping 用自己估计自己 如果这一轮已经高估，下一轮更会高估

为什么最大化会导致高估

在这里插入图片描述
估计通常是有偏差的，偏差的均值为零，但是会让最大值更大，最小值更小
在这里插入图片描述
在这里插入图片描述
对 q t + 1 q_{t+1} qt+1​的高估会传递下去，导致DQN的高估

自举

在这里插入图片描述
高估会出现正反馈 不断扩大
在这里插入图片描述

高估为什么有害

高估本身不是问题，做决策的时候看的是相对大小
麻烦的是非均匀的高估
实际上DQN的高估是非均匀的
在这里插入图片描述

解决方案1:Target Network

用另一个结构一样但是参数不一样的网络
DQN用来控制Agent，并且收集经验（transitions）
用Target Network计算TD Target
在这里插入图片描述
算法流程
在这里插入图片描述
Target Network的参数记作 w − w^- w−，隔一段时间更新一次
更新策略有两种：
在这里插入图片描述
Target Network中仍然存在最大化操作，并且 Target Network无法独立于DQN，导致仍然存在一定程度的高估，只是不那么严重。
在这里插入图片描述

解决方案2:double DQN

比较三者的最大化操作
1.原始版
在这里插入图片描述
2.Target Network
在这里插入图片描述
3.Double DQN
在这里插入图片描述
两步用不同的网络 ，小改动但大幅提升性能

为什么会更好

在这里插入图片描述

Echoooooh
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
双重DQN：解决过估计问题的优化方案
禅与计算机程序设计艺术
05-04 576
1. 背景介绍 强化学习（Reinforcement Learning，RL）作为机器学习的一个重要分支，近年来在游戏、机器人控制、自然语言处理等领域取得了显著的成果。在RL中，智能体通过与环境进行交互，不断学习并优化其策略，以最大化长期累积奖励。Deep Q-Network (DQN) 作为一种基于值函数的深度强化学习算法，通过深度神经网络逼近最优
Deep-Q-Network-DQN-的简单理解和几点Tips
weixin_44791073的博客
07-12 1812
最近看论文时了解了一个新的机器学习分支-Deep Q-learning Netwokr（DQN），所以自己上网查找整理了一些此算法的基本概念及其细节实现的tips. 一.什么是DQN？ 首先看名字可以知道，DQN是将DEEP LEARNING 和Q-learning相结合,所以先来简单介绍一下这两者的概念. 1.Q-learning Q学习作为强化学习的分支，继承了强化学习的模型。如下图： 可以看出强化学习中存在一个基本的数值对（状态S,动作a），一开始环境处于S0状态，这时agent做出一个动作a0.
(6-4）Deep Q Network (DQN)算法：DQN的优化与改进
最新发布
码农三叔
02-19 1666
实例文件Dueling.py的主要实现代码如下所示。
第八章 DQN算法进阶
Byr0611的博客
12-23 823
本章介绍DQN改进的一些算法，改进角度略有不同，例如Double DQN 及Dueling DQN主要从网络模型层面改进，而PER DQN则从经验回放的角度改进。算法各有不同，但本质都是从提高预测精度和控制过程中的探索度来改善DQN算法性能。
DQN笔记：高估问题 & target network & Double DQN
qq_40206371的博客
05-26 3825
Q 学习算法有一个缺陷：用 Q 学习训练出的 DQN 会高估真实的价值，而且高估通常是非均匀的。 这个缺陷导致 DQN 的表现很差。 高估问题并不是 DQN 本身的缺陷，而是训练 DQN 用的 Q 学习算法的缺陷。 1 自举（bootstrapping）导致的偏差传播 1.1 DQN参数更新（回顾） Q-learning 算法每次从经验回放数组 (Replay Buffffer) 中抽取一个四元组。然后执行以下步骤，对 DQN 的参数做一轮更新： 1，计算TD目标 ——&...
DQN基本概念和算法流程（附Pytorch代码）
ningmengzhihe的博客
04-14 8509
DQN，Deep Q Network本质上还是Q learning算法，它的算法精髓还是让Q估计​尽可能接近Q现实​，或者说是让当前状态下预测的Q值跟基于过去经验的Q值尽可能接近。在后面的介绍中Q现实​也被称为TD Target相比于Q Table形式，DQN算法用神经网络学习Q值，我们可以理解为神经网络是一种估计方法，神经网络本身不是DQN的精髓，神经网络可以设计成MLP也可以设计成CNN等等，DQN的巧妙之处在于两个网络、经验回放等trick。
【从RL到DRL】深度强化学习基础（三）——蒙特卡洛算法、TD算法改进：经验回放与高估问题的优化——Target网络与Double DQN，DQN结构改进——Dueling网络
Vulcan_Q的博客
10-19 924
本文为深度强化学习的第三篇，承接上篇介绍了蒙特卡洛算法的应用，并结合TD算法的具体缺点，从两个角度介绍了两个改进方案——经验回放与高估问题优化，最后介绍了对DQN网络结构的优化——Dueling Network 结构
【DQN高级技巧3】Dueling Network
qq_44319285的博客
10-17 385
Dueling Network
2.double dqn.ipynb
09-02
关于double dqn的例子，适合初学者对深度强化学习double dqn的认识和了解
breakout-Deep-Q-Network:强化学习| 在Atari Breakout上执行DQN，对决DQN和Double DQN的tensorflow实现
05-11
:person_running: [强化学习]在Atari Breakout游戏上执行的Deep Q Network（DQN），决斗DQN和Double DQN的张量流实现 安装 键入以下命令以安装OpenAI Gym Atari环境。 $ pip3 install opencv-python gym gym[atari...
用matlab自主搭建DQN算法解决CartPole问题
03-31
本项目采用MATLAB语言搭建cartPole问题环境以及手动实现DQN算法能够很好的解决控制小车的平衡一类问题，其目的是帮助初学者很好地理解DQN算法。
Double DQN.zip_DQN算法_Double DQN算法_busy4hy_double dqn_强化学习
07-15
基于强化学习的Double DQN算法实现的小案例。
用MATLAB语言解决DQN最短路径问题
03-31
不用强化学习工具箱的DQN算法案例与matlab代码，方便大家学习使用。可以在此基础上直接更改编写自己的项目
【深度学习】DQN的经验回放（Experience Reply）和目标网络（Target Network）
热门推荐
ngc_1277
11-13 1万+
前言 对于Q-learning算法，有两点不足之处： 维度灾难；这是由于查找表存储和更新Q值时需要在离散状态空间开始强化学习，当状态的数量增大，这一问题将愈发难解； 有关状态空间离散化的粒度；较低的粒度将使得Q-learning泛化能力较弱，高粒度又将可能导致状态数量呈指数增长。 DQN应运而生，采用深度神经网络为非线性函数逼近，以表示高维连续状态空间中的Q值函数。， θ即参数化的神经网络。...
高估问题以及解决方法
qq_41903673的博客
03-28 950
两个原因： 1.计算TD target时，用到了最大化，造成计算的结果比真实值要大。 2.用高估的结果再去更新自己，在网络中一次次循环过程，该最大化会越来越大，导致高估。 DQN的高估是非均匀的，而这种非均匀的高估是有害的，因为不能选出最优的动作。 DQN的高估是非均匀的，原因如下： DQN一般从队列中选取一个transition四元组去更新w，而TD target已经是对真实价值的高估，TD算法鼓励DQN的预测接近，但是已经是高估的，那么DQN这么做就会把DQN对的估计值给推高，s和a的..
动手学强化学习笔记-Double DQN
qq_73355475的博客
09-18 287
普通的DQN算法通常会导致对Q值的过高估计，原因是Q值的估计以及动作的选取采用了同一套神经网络，而神经网络在估算Q值时本身会产生正向或负向的误差，而拟合的误差在参数更新时并未得到修正，比如说状态s下所有动作的Q值均为0，而神经网络拟合时出现了某些动作价值估计有正误差的情况，即存在某个动作a使得Q（s,a）>0，此时我们的更新目标就出现了过高估计，r+γmaxQ>r+0，那么此时Q(s,a)就被过高估计了，而我们之后也会拿这个Q值去更新上一步的Q值，这样子误差就逐步累积了。，目标网络的参数记为。
【百度AI强化学习系列】三、DQN解决MountainCar
风月同天的博客
06-24 4585
什么是MountainCar DQN 整体实现思路 训练效果
强化学习—— Target Network & Double DQN（解决高估问题，overestimate）
Cyrus_May的博客
04-10 1741
强化学习—— Target Network & Double DQN（解决高估问题，overestimate）1TD算法2. 高估问题2.1 Maximization2.1.1 数学解释2.1.2 动作价值函数的高估2.2 Bootstrapping2.3 高估是否有害3. 高估的解决方案3.1 Target Network3.1.1 Target Network的结构3.1.2 学习方式3.2 Double DQN4. 总结 1TD算法 TD Target：yt=rt+maxaQ(st+1,a
DQN的几个变种以及各自解决的问题
小郁同学
09-28 2248
参考资料： 李宏毅深度强化学习课程：https://www.bilibili.com/video/BV1UE411G78S?p=7 知乎专栏：https://zhuanlan.zhihu.com/p/336723691
dqn系列梳理_强化学习：DQN与Double DQN讨论
05-13
DQN（Deep Q-Network）是一种基于深度学习的强化学习算法，它使用神经网络来估计Q值函数，并采用经验回放和目标网络来优化训练过程。DQN算法的主要思想是通过不断地更新Q值函数，找到最优的行动策略，从而实现最大化累积奖励的目标。 Double DQN（Double Deep Q-Network）是对DQN算法的改进，它通过解决DQN算法中过高估计Q值函数的问题，提高了算法的性能。在DQN算法中，Q值函数的更新是通过使用一个固定的目标网络来计算目标Q值来完成的。然而，在实际应用中，这种方法容易导致Q值函数的过高估计，从而影响算法的性能。 为了解决这个问题，Double DQN算法提出了一种新的更新策略，即使用当前Q值网络来选择最佳行动，然后使用目标Q值网络来计算该行动的Q值。这种方法可以有效地减少Q值函数的过高估计，并提高算法的性能。 总的来说，DQN算法和Double DQN算法都是强化学习领域中比较流行的算法，它们都使用神经网络来估计Q值函数，并采用经验回放和目标网络来优化训练过程。在实际应用中，Double DQN算法相对于DQN算法具有更好的性能，因为它可以减少Q值函数的过高估计，并提高算法的稳定性和收敛速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值