《强化学习导论》之doubleQ-Learning的理解

最新推荐文章于 2022-09-01 21:38:05 发布
最新推荐文章于 2022-09-01 21:38:05 发布
阅读量2.3k 收藏 1
点赞数 1
分类专栏： Reinforcement Learning 文章标签： 强化学习 双Q学习 doubleQLearning q-learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/def_init_myself/article/details/105540946
版权

在这里插入图片描述
在这里插入图片描述我的理解是这个最大化偏差来源于Q学习中的求取的最大化这个步骤可能得到的值不准确。然后这个期望，我觉得是讲动作和值解耦，然后从E的表达式来看，求得期望就是从另一个Q得到的动作的期望，默认第一个Q学到的是最大动作，然后第二个Q只求期望。两个没有干扰

同时，在周博磊的视频课程中，也可以认识到，因为我们采取的max这个操作的时候，用的还是待优化的东西，因此不是很准确，有偏差。

野生蘑菇菌
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Deep Reinforcement Learning with Double Q-learning论文分享.pdf
05-16
The popular Q-learning algorithm is known to overestimate action values under certain conditions. It was not previously known whether, in practice, such overestimations are common, whether they harm performance, and whether they can generally be prevented. In this paper, we answer all these questions affirmatively. In particular, we first show that the recent DQN algorithm, which combines Q-learning with a deep neural network, suffers from substantial overestimations in some games in the Atari 2600 domain. We then show that the idea behind the Double Q-learning algorithm, which was introduced in a tabular setting, can be generalized to work with large-scale function approximation. We propose a specific adaptation to the DQN algorithm and show that the resulting algorithm not only reduces the observed overestimations, as hypothesized, but that this also leads to much better performance on several games.
深度强化学习系列(5): Double Q-Learning原理详解
热门推荐
深度强化学习(DeepRL)探索博客
12-05 1万+
论文地址： https://papers.nips.cc/paper/3964-double-q-learning.pdf 本论文是由DeepMind发表于2015年NIPS的一篇论文，作者Hasselt。 前言： Q-Learning算法由于受到大规模的动作值过估计(overestimation)而出现不稳定和效果不佳等现象的存在，而导致overestimation的主要原因来自于最大化值函...
最大化偏差问题与Double Q-Learning(一)——最大化偏差问题介绍
静静的学习就好
07-14 1084
本节将分两节介绍求解时序差分控制过程中算法出现的最大化偏差问题以及解决方法——Double Q learning算法。
Double Q-learning
小蚂蚁与大象
09-01 1842
在一些随机环境中，著名的强化学习算法Q-learning表现非常糟糕。这种糟糕的性能是由对动作值的过高估计造成的。这些过高估计是由于引入了正偏差，因为Q-learning使用最大动作值作为最大期望动作值的近义词。将双估计器应用到Q-learning中，构建了一种新的非策略强化学习算法double Q-learning。本文表明，新算法收敛于最优策略，并且在一些由于q学习的高估而表现不佳的情况下，它表现良好。本文表明，由于对动作值的过大估计，Q-learning在随机mdp中的性能可能很差。
第2期技术: Double Q-learning算法原理
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
09-07 1461
Q-Learning算法由于受到大规模的动作值过估计(overestimation)而出现不稳定和效果不佳等现象的存在，而导致overestimation的主要原因来自于最大化值函数(max)逼近，该过程目标是为了最大的累计期望奖励，而在这个过程中产生了正向偏差。而本文章作者巧妙的是使用了两个估计器(double estimator)去计算Q-learning的值函数，作者将这种方法定义了一个名字叫“Double Q-learning”（本质上一个off-policy算法），并对其收敛过程进行了证明(缺点：
Double Q-Learning理论基础及其代码实现【Pendulum-v0】
一起加油~
07-12 1218
Double Q-Learning算法是为了解决Q-Learning算法过高估计的问题，采用了两个Q表格。本文详细讲解了DQL算法的理论基础以及代码实现，环境是基于Pendulum-v0的。
Deep Reinforcement Learning with Double Q-learning（double DQN）
小蚂蚁与大象
09-01 1002
虽然没有完全解耦，但DQN架构中的目标网络为第二值函数提供了一个自然的候选网络，而无需引入额外的网络。首先，我们展示了为什么q学习在大规模问题中可能过于乐观，即使这些问题是确定性的，因为学习的固有估计误差。其次，通过分析Atari游戏的价值估计，我们已经表明，这些高估在实践中比之前承认的更常见和更严重。当然，不精确的价值估计是学习过程中的常态，这表明高估可能比之前认识到的更普遍。然后，我们展示了这种算法不仅产生了更准确的价值估计，而且在一些游戏中获得了更高的分数。，而且还在一些游戏上带来了更好的性能。
论文笔记之Double Q-learning
Ton的博客
02-04 2019
经典的Q-learning算法因为目标策略的取max步骤使得Q估计值存在过估计现象。Q(s,a)估计的不准确会导致Agent表现力很差，比如原本2个真值Q(s,a0)>Q(s,a1)Q(s,a_0)>Q(s,a_1)Q(s,a0​)>Q(s,a1​)，但过估计可能会使得收敛时他们的估计值Q(s,a0)<Q(s,a1)Q(s,a_0)<Q(s,a_1)Q(s,a0​)<Q(s,a1​)。那么根据贪心策略，会出现次优策略。 为了解决过估计这个糟糕的问题，2010年Hassel
强化学习导论中文版 增强学习导论中文版 Reinforcement learning an introduction 中文版.
06-04
增强学习导论 强化学习导论 Reinforcement learning an introduction 中文版
强化学习qlearning算法训练贪吃蛇
07-22
利用qlearing算法训练贪吃蛇，模型在2000次循环内取得很好的效果，属于伯克利人工智能导论课cs188中的作业
强化学习导论翻译-来自CSDN1
08-03
介绍写文章-CSDN博客文章目录1.开启本系列目的2.本书框架3.认识强化学习4.一些可应用强化学习的场景5.强化学习的基本概念5.与进化算法对比7.总结8.附
强化学习入门资料Algorithms for Reinforcement Learning
04-29
RLBook资料集锦。 强化学习入门资料Algorithms for Reinforcement Learning。 强化学习导论和代码实例。 中文英文都有。
强化学习导论
11-18
强化学习导论，2018年1月完整版，Richard S. Sutton和 Andrew G. Barto所著
pybullet入门
野生蘑菇菌的博客
10-01 6828
pybullet入门一、pybullet是什么二、安装实践其他参考文献 一、pybullet是什么 pybullet是一个易于使用的python模块，它基于bullet物理sdk进行物理仿真、机器人技术和深度强化学习。使用pybullet，您可以从urdf、sdf和其他文件格式加载铰接体。pybullet提供正向动力学仿真、反向动力学计算、正向和反向运动学以及碰撞检测和光线相交查询。除了物理模拟，pybullet还支持渲染，包括cpu渲染器和opengl可视化，以及对虚拟现实耳机的支持，官方的中文网址网址，
Q-Learning原理+python代码解析+改进
野生蘑菇菌的博客
03-20 2583
。
DQN-FlappyBird学习之算法思路+代码分析+python技巧
野生蘑菇菌的博客
04-22 1870
首先从上一节博文我们知道了关于如何通过shell脚本进行传递参数 在main文件中，我们看到在train的环节有以下代码： if args.train: model = BrainDQN(epsilon=args.init_e, mem_size=args.memory_size, cuda=args.cuda) resume = not args.weight == ‘’ train_dqn(...
gym-MountainCar-v0离散状态的Q-Learning
野生蘑菇菌的博客
04-17 1789
周老师课程推荐的程序解析 这里写目录标题一、关键点二、代码块 一、关键点 一、关于eta 二、关于离散化 离散为40个状态（二维） 三、关于_ 表示某个变量是临时的或无关紧要的 四、关于列表解析 solution_policy_scores = [run_episode(env, solution_policy, False) for _ in range(100)] 二、代码块 ...
安装强化学习工具包gym
野生蘑菇菌的博客
03-19 1543
一、简介 Gym是一个用于测试和比较强化学习算法的工具包，它不依赖强化学习算法结构，并且可以使用很多方法对它进行调用，像Tensorflow、Theano强化学习环境-Gym安装到使用入门 二、安装 由于以上的介绍中给出gym可以兼容tensorflow，同时为了以后测试深度强化学习代码，因此首先复制一个安装好的tensorflow_gpu的环境。环境搭建详见我的博文详解ubuntu18.04+G...
算法导论思考题4-3 i
最新发布
09-24
算法导论思考题4-3 i是关于图的最长路径问题（Path Length Problem）。 最长路径问题是寻找一个无向图中两个顶点之间最长的路径，其中路径的长度由路径上边的数量决定。 对于这个问题，我可以提供一个简单的解决...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值