Double Q-Learning 阅读记录

最新推荐文章于 2024-04-13 17:47:46 发布
最新推荐文章于 2024-04-13 17:47:46 发布
阅读量423 收藏 1
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36336522/article/details/108296350
版权

1、Overoptimism problem && maximization bias problem

Q学习会带来很多问题，比如会导致最大化偏差问题，使得估计的动作价值偏大。

2、Double DQN

double DQN就是为了解决上面的问题，Double DQN很简单，对于DQN的改变如下所示：

简单的理解是double-DQN，由于DQN中已经存在了target network，不需要构造额外的网络了，直接用target network去代表第二个Q表，其更新的公式如上图（黄色标注）所示，当然更新tartget network的参数是 theta minus 而不是 theta。

3、Double DQN 编码实现

# 根据上述 公式
Q_next = self.target_network.predict(next_s_batch)

# 变成
Q_next_one = self.eval_network.predict(next_s_batch)
action_max_one = Q_next_one.argmax(axis=-1)
Q_next_two = self.target_network.predict(next_s_batch)
Q_next = Q_next_two[np.arange(Q_next_two.shape[0]), action_max_one]

https://github.com/syyxtl/RL-learn/tree/master/MountainCar

水野与小太郎
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Double Deep Q Network 算法
段智华的博客
11-09 1825
Deep Q Network 算法：直接从下一个状态的Q目标值，选择动作概率的最大值。 （Y值通过Q目标值的一张网络计算） Double Deep Q Network 算法：计算下一个状态的Q评估值的最大值,然后从下一个状态的Q目标值,选择动作q_next。 （Y值通过Q评估值、Q目标值的双网计算） 符号： ：表示Q目标值神经网络（target_net）的网络参数 ： 表示...
Double Q-learning
小蚂蚁与大象
09-01 1963
在一些随机环境中，著名的强化学习算法Q-learning表现非常糟糕。这种糟糕的性能是由对动作值的过高估计造成的。这些过高估计是由于引入了正偏差，因为Q-learning使用最大动作值作为最大期望动作值的近义词。将双估计器应用到Q-learning中，构建了一种新的非策略强化学习算法double Q-learning。本文表明，新算法收敛于最优策略，并且在一些由于q学习的高估而表现不佳的情况下，它表现良好。本文表明，由于对动作值的过大估计，Q-learning在随机mdp中的性能可能很差。
深度强化学习系列(5): Double Q-Learning原理详解
深度强化学习(DeepRL)探索博客
12-05 1万+
论文地址： https://papers.nips.cc/paper/3964-double-q-learning.pdf 本论文是由DeepMind发表于2015年NIPS的一篇论文，作者Hasselt。 前言： Q-Learning算法由于受到大规模的动作值过估计(overestimation)而出现不稳定和效果不佳等现象的存在，而导致overestimation的主要原因来自于最大化值函...
最大化偏差问题与Double Q-Learning(一)——最大化偏差问题介绍
静静的学习就好
07-14 1219
本节将分两节介绍求解时序差分控制过程中算法出现的最大化偏差问题以及解决方法——Double Q learning算法。
Double Deep Q-Network（DDQN）
FM_1793的博客
10-10 920
传统的 Q-learning 算法估计了当前状态下的最佳动作的 Q 值，然后使用这些估计的 Q 值来指导决策。总之，Double Deep Q-Network（DDQN）框架是一种用于解决强化学习问题的先进方法，它结合了深度神经网络和双重 Q-learning，旨在提高 Q-learning 算法的稳定性和性能。其中一个网络被称为目标网络，用于估算目标 Q 值，以减少 Q 值的波动性和提高算法的稳定性。目标网络的参数定期更新以与估算网络保持同步。通常，神经网络的输入是状态，输出是每个可能的动作的 Q 值。
深度强化学习（Double DQN）
人工智能学习生
11-28 210
深度强化学习（Double DQN）
论文笔记之Double Q-learning
Ton的博客
02-04 2133
经典的Q-learning算法因为目标策略的取max步骤使得Q估计值存在过估计现象。Q(s,a)估计的不准确会导致Agent表现力很差，比如原本2个真值Q(s,a0)>Q(s,a1)Q(s,a_0)>Q(s,a_1)Q(s,a0​)>Q(s,a1​)，但过估计可能会使得收敛时他们的估计值Q(s,a0)<Q(s,a1)Q(s,a_0)<Q(s,a_1)Q(s,a0​)<Q(s,a1​)。那么根据贪心策略，会出现次优策略。 为了解决过估计这个糟糕的问题，2010年Hassel
打击迹线的matlab代码-The-Mean-Squared-Error-of-Double-Q-Learning:双Q学习的均方误差
06-04
Q-learning 和 Q-learning。 以下所有实验均使用 Matlab R2018b 和 Python 3.6.9 运行 我们考虑的环境 贝尔德的例子：贝尔德 GridWorld：网格 CartPole：手推车 最大化偏差：偏差，偏差（nn） 贝尔德的实验 文件： ...
DQ深度学习Deep Reinforcement Learning with Double Q-Learning.pdf
06-22
DQ深度学习Deep Reinforcement Learning with Double Q-Learning.pdf
Deep-Q-Learning：在pytorch中使用Double Deep Q-Learning教AI使其安全降落飞船
02-14
在这个项目中，我们将关注一个具体的应用场景——“Deep-Q-Learning：在PyTorch中使用Double Deep Q-Learning教AI使其安全降落飞船”。这个任务涉及到了几个关键的技术点，包括Q-Learning、Deep Q-Networks (DQN)...
Deep Reinforcement Learning with Double Q-learning论文分享.pdf
05-16
The popular Q-learning algorithm is known to overestimate action values under certain conditions. It was not previously known whether, in practice, such overestimations are common, whether they harm performance, and whether they can generally be prevented. In this paper, we answer all these questions affirmatively. In particular, we first show that the recent DQN algorithm, which combines Q-learning with a deep neural network, suffers from substantial overestimations in some games in the Atari 2600 domain. We then show that the idea behind the Double Q-learning algorithm, which was introduced in a tabular setting, can be generalized to work with large-scale function approximation. We propose a specific adaptation to the DQN algorithm and show that the resulting algorithm not only reduces the observed overestimations, as hypothesized, but that this also leads to much better performance on several games.
解析 DeepMind 采用双 Q 学习 (Double Q-Learning) 深度强化学习技术 - 简书1
08-03
背景为了解决序列决策问题，我们可以学习每个动的最优值的估计，即采取该动并根据后续最优策略的未来回报的期望和。在个给定策略 π，在状态 s 的动 a 的真实值为其
深度强化学习中Double DQN算法（Q-Learning+CNN）的讲解及在Asterix游戏上的实战（超详细 附源码）
showswoller的博客
11-26 1762
深度强化学习中Double DQN算法（Q-Learning+CNN）的讲解及在Asterix游戏上的实战（超详细 附源码）
6.DQN(Deep Q-Network)+Double DQN+Dueling DQN
qq_39160779的博客
07-15 1839
目录 深度强化学习目录 简介 DQN(Deep Q-Network)，顾名思义，就是将Q-learning与深度学习相结合。具体点讲，就是把Q-learning中估算Q值函数的模型应用为神经网络，一般我们用的是三层CNN结构。 DQN在实际操作中会遇到一个问题，就是过度高估（over-estimate）Q值函数。于是我们使用Double DQN来缓解这个问题。 Double DQN 什么叫过度高估Q值函数？举个例子，我们用DQN玩游戏，在状态s的时候训练得到的Q值是100，而实际玩了一盘下来发现远不到100
深度强化学习-Double DQN算法原理与代码
weixin_46133643的博客
12-11 2万+
Double Deep Q-learning(DDQN)是对DQN算法的改进，有效提升了算法的性能，本文就带领大家了解一下这个算法，Double Q-learning算法的论文链接见下方。 论文：https://ojs.aaai.org/index.php/AAAI/article/view/10295 代码：后续会将代码上传到Github上... 1 DDQN算法简介 ...
（10-5）强化推荐学习：双重深度 Q 网络算法
码农三叔
03-24 1246
DQN 在训练过程中存在一些问题，其中一个主要问题是对目标 Q 值的估计过于乐观。DQN使用同一个神经网络进行当前状态的 Q 值估计和目标 Q 值的估计，这会导致估计的 Q 值偏高，因为在更新 Q 值时使用了同一个网络的输出。DDQN通过引入目标网络（Target Network）来解决这个问题。目标网络是一个与主网络（Policy Network）相互独立的网络，用于计算目标 Q 值。在训练过程中，目标网络的参数是固定的，而主网络的参数进行更新。这样可以减少估计目标 Q 值时的过高估计问题。
双Q网络(DoubleDQN)原理与实现
最新发布
AGI通用人工智能之禅
04-13 1176
强化学习是近年来人工智能领域研究的一个热点方向,其中深度强化学习更是受到了广泛关注。深度Q网络(Deep Q-Network, DQN)作为深度强化学习的经典算法,在多种游戏环境中取得了令人瞩目的成绩。然而,标准的DQN算法也存在一些局限性,比如过高的方差和目标值过高估计等问题。为了解决这些问题,Hado van Hasselt等人在2015年提出了双Q网络(Double DQN, DoubleDQN)算法。
Deep Reinforcement Learning with Double Q-learning（Double DQN）论文学习和公式推导
qq_37194582的博客
08-09 2790
Abstract Q-learning算法会在某些情况下存在对action values的过估计（overestimation）问题，但这种过估计是否普遍存在，是否影响性能，是否可避免，以前尚不清楚。作者在本文回答了这些问题，且证明了用于解决表格式问题（状态动作是离散的）的Double Q-learning算法背后的思想可以推广用于大规模函数逼近。作者提出了一种改进的DQN算法，减少了过估计现象。 Q-learning有时学到不切实际的高action value，原因是在估计action valu.
数据分析——多重共线性检验
热门推荐
水野与小太郎的博客
05-03 5万+
在做线性回归的时候，一般分为以下几个步骤： 1、画散点图，简单的查看是否存在线性关系（3D以下） 2、线性模型跑一遍试试效果 3、其中需要查看以下几个指标： 3.1 正太分布检验 3.1 多重共线性 3.2 变量显著性 3.4 拟合效果 4、解释变量 上面一篇文章了解了如何利用t检验进行变量的显著性检验，下面着重学习如何进行多重共线性的检验 一、辅助...
double q-learning和q-learning有什么区别
04-29
Q-learning和Double Q-learning都是基于Q-learning算法的改进版本，主要是为了解决Q-learning算法的过度估计问题。 Q-learning算法是一种基于贪心策略的强化学习算法，它通过更新Q值来学习最优策略。然而，Q-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值