深度强化学习6——DQN的改进方法

最新推荐文章于 2024-10-09 08:33:43 发布
最新推荐文章于 2024-10-09 08:33:43 发布
阅读量6.3k 收藏 43
点赞数 5
分类专栏： 深度强化学习 人工智能 强化学习 文章标签： 深度学习 强化学习 深度强化学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42389349/article/details/102934011
版权

在上一篇文章我们提到了DQN还存在的问题：

1） 目标Q值的计算是否准确？全部通过max Q来计算有没有问题？

2） 随机采样的方法好吗？按道理不同样本的重要性是不一样的。

3） Q值代表状态，动作的价值，那么单独动作价值的评估会不会更准确？

相应的改进方法是Double DQN、Prioritised Replay DQN、Dueling DQN，下面我们将一一介绍这些方法。

Double DQN

在DDQN之前，基本上所有的目标Q值都是通过贪婪法直接得到的，无论是Q-Learning， DQN(NIPS 2013)还是 Nature DQN，都是如此，在 DQN(NIPS 2013)中，会出现Q值估计偏高的情形，因为这是一种off-policy的策略，我们每次在学习时，不是使用下一次交互使用的真实动作，而是使用当前策略认为的价值最大的动作，所以会出现对Q值的过高估计。而在Nature DQN中，我们也会面临同样的问题，因为我们选择下一时刻的动作以及计算下一时刻状态-动作Q值时，使用的都是target-net。

最初Thrun & Schwartz开始探讨该问题，证明了在使用函数逼近器时overestimation可能导致非最优解。之后van Hasselt发现即使用表格表示法的情况下，环境中的噪声也能导致overestimation，为了将动作选择和价值估计进行解耦，提出了解决方案Double Q-learning，在上一节里，Nature DQN对于非终止状态，其目标Q值的计算式子是：

                                                                     y_{j}=\left\{\begin{matrix} r_{j} & teminal &is& true\\ r_{j}+\gamma max_{a^{'}}Q(s_{j}^{'},a_{j}^{'},w) & teminal &is&false \end{matrix}\right.

在DDQN这里，其定义是将动作的选择和动作的评估分别用不同的值函数来实现，而在Nature DQN中正好我们提出了两个Q网络(Q,Q^{'})，其计算目标值yj的步骤可以拆分为两步：

1）先在当前Q网络中先找出最大Q值对应的动作，即

                                                                                   a_{j}^{max}(s_{j}^{'},w)=arg \underset{a^{'}}{max}(Q(s_{j}^{'},a_{j},w))

最低0.47元/天 解锁文章
xyt_369587353
关注
专栏目录
(6-4）Deep Q Network (DQN)算法：DQN的优化与改进
码农三叔
02-19 2081
实例文件Dueling.py的主要实现代码如下所示。
从零开始的深度强化学习系列教程——DQN 算法原理讲解
AI天才研究院
09-22 1140
随着机器学习、深度学习等技术的兴起，强化学习（Reinforcement Learning）也越来越火爆。强化学习就是让一个智能体（Agent）通过与环境进行交互，在不断探索寻找最优策略的过程中，通过学习经验改善自身的策略，从而达到长远利益最大化的目的。其中，DQN （Deep Q-Networks）是一个强化学习算法。本文将从DQN的基本原理入手，全面讲述DQN算法背后的原理和数学公式，并提供相应的代码实现及其注释。深度强化学习算法对强化学习领域的重要性不亚于监督学习。
机器学习-52-RL-04-Tips of Q-Learning(强化学习-Q学习的一些技巧:Double DQN&Dueling DQN&Prioritized Reply&Multi-step等)
迷雾总会解
01-23 1350
本片文章要讲的是训练 Q-learning 的一些 tips：Double DQN，Dueling DQN，Prioritized Reply，Multi-step(Balance between MC and TD)，Noisy Net(on Action vs on Q-function)，Distributional Q-function，Rainbow
【Hierarchical RL】分层深度Q网络（Hierarchical-DQN）算法
最新发布
山高路远，看世界，也找自己
10-09 2573
Hierarchical-DQN (Hierarchical Deep Q-Network) 是一种分层强化学习算法，专门设计用于解决复杂的任务，通过将任务分解为层次化的子任务来学习。它结合了深度 Q 网络（DQN）和分层强化学习的思想，将复杂任务分解为多个具有不同时间尺度的子任务。Hierarchical-DQN 的设计思路和 FeUdal Networks 类似，都是通过层次结构来解决长时间跨度的任务，但 Hierarchical-DQN 的具体实现有所不同，尤其在策略的选择和值函数的更新方面。
动手强化学习（七）：DQN 改进算法——Dueling DQN
与君共勉，一起学习
06-13 3859
之前介绍的 Q-learning、DQN 及 DQN 改进算法都是基于价值（value-based）的方法，其中 Q-learning 是处理有限状态的算法，而 DQN 可以用来解决连续状态的问题。在强化学习中，除了基于值函数的方法，还有一支非常经典的方法，那就是基于策略（policy-based）的方法。对比两者，基于值函数的方法主要是学习值函数，然后根据值函数导出一个策略，学.........
改进DQN算法 Double DQN算法 DuelingDQN算法
oceancoco的博客
11-22 198
第 8 章 DQN 改进算法 8.1 简介 DQN算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在DQN之后，学术界涌现了非常多的改进算法。本章将介绍其中两个非常著名的算法：Double DQN和Dueling DQN，这两个算法的实现非常简单，只需要在DQN的基础上稍加修改，它们能在一定程度上改善DQN的效果。 8.2 Double DQN 普通的DQN算法通常会导致对Q值的过高估计（overestimate）。传统DQN优化的TD误差目标为 r+γ
动手强化学习（八）：DQN 改进算法——Dueling DQN
与君共勉，一起学习
06-05 4093
动手强化学习（七）：DQN 改进算法——Dueling DQN1. 简介2. Dueling DQN3. Dueling DQN 代码实践4. 对 Q 值过高估计的定量分析总结 文章转于 伯禹学习平台-动手学强化学习 （强推） 本文所有代码均可在jupyter notebook运行 与君共勉，一起学习。 1. 简介   DQN 算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在 DQN 之后，学术界涌现出了非常多的改进算法。本章将介绍其中两个非常著名的算
对于DQN的三大改进 - 这篇讲的好些
weixin_33843947的博客
09-17 673
可以看这篇文章： https://blog.csdn.net/u013236946/article/details/73161586   这篇也讲的不错： https://www.cnblogs.com/wangxiaocvpr/p/8110120.html  
深度强化学习——DQN
02-24
本文来自于csdn，本文章主要介绍了深度学习与强化学习结合起来从而实现从感知（Perception）到动作（Action）的端对端（End-to-end）学习的一种全新的算法。原因：在普通的Q-learning中，当状态和动作空间是离散且维...
深度强化学习DQN算法实现小车平衡杆(CartPole)问题
02-07
DQN（Deep Q-Network）算法是一种基于深度神经网络的强化学习算法...本代码借鉴学习《深度强化学习专栏 —— 2.手撕DQN算法实现CartPole控制》，对每一行代码进行注释说明，并修改部分内容，完成在本设备上的正常运行。
动手学强化学习第八章（DQN改进算法）
qq_47997583的博客
04-30 1796
文章目录第八章：DQN改进算法1.理论部分1.1 Double DQN1.2 Dueling DQN2.实践部分 第八章：DQN改进算法 1.理论部分 本部分主要是double DQN与Dueling DQN 1.1 Double DQN 回顾： 首先回顾一下普通的DQN是如何更新参数的 Q(s,a)←Q(s,a)+α[r+γmax⁡a′∈AQ(s′,a′)−Q(s,a)] Q(s, a) \leftarrow Q(s, a)+\alpha\left[r+\gamma \max _{a^{\prime} \
Rainbow: 结合深度强化学习的改进
wdn blog
11-10 1597
本文研究了DQN算法的六个扩展，并实证研究了它们的组合。我们的实验表明，在数据效率和最终性能方面，该组合在雅达利2600基准上提供了最先进的性能。我们还提供了详细的消融研究结果，该研究显示了每个部件对整体性能的贡献。
动手强化学习（七）：DQN 改进算法——Double DQN
与君共勉，一起学习
05-27 2633
动手强化学习（七）：DQN 改进算法——Double DQN、Dueling DQN1. 简介2. Double DQN3. Double DQN代码实战 文章转于 伯禹学习平台-动手学强化学习 （强推） 本文所有代码均可在jupyter notebook运行 与君共勉，一起学习。 1. 简介   DQN 算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在 DQN 之后，学术界涌现出了非常多的改进算法。本章将介绍其中两个非常著名的算法：Double DQ
DQN的多种改进（1）
热门推荐
B417科研笔记
03-08 3万+
1.N-step DQN N-step DQN的核心是将bellman方程展开，即 Q(st,at)=rt+γrt+1+γ2maxa′Q(st+2,a′)Q(s_t,a_t) = r_t + \gamma r_{t+1} + \gamma^2 max_{a'}Q(s_{t+2},a')Q(st​,at​)=rt​+γrt+1​+γ2maxa′​Q(st+2​,a...
DQN改进
jinbeibei0606的博客
08-18 322
double DQN学习：http://blog.csdn.net/u010214210/article/details/53791315
第八章 DQN算法进阶
Byr0611的博客
12-23 964
本章介绍DQN改进的一些算法，改进角度略有不同，例如Double DQN 及Dueling DQN主要从网络模型层面改进，而PER DQN则从经验回放的角度改进。算法各有不同，但本质都是从提高预测精度和控制过程中的探索度来改善DQN算法性能。
深度增强学习（DQN）的各种改进(一)
wjyhumor的博客
02-01 1757
DeepMind在2013年提出DQN模型称为NIPS DQN，主要是增加了经验回放（experience replay）的功能，上篇文章已经介绍。此后，相继有各种改进模型发表。 Nature DQN 由DeepMind在2015年提出，论文：Human-level control through deep reinforcement learning。主要的改进是
第8章 DQN改进算法
qq_45481856的博客
09-06 787
DQN算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在DQN之后，学术界涌现出了非常多的改进算法。本章将介绍其中两个非常著名的算法：Double DQN 和Dueling DQN，这两个算法的实现非常简单，只需要在DQN的基础上稍加修改，他们能在一定程度上改善DQN的效果。如果读者想要了解更多、更详细的DQN改进方法，可以阅读Rainbow模型的论文机器引用文献。
强化学习--DeepQnetwork 的一些改进
anqiu4023的博客
01-14 172
Double DQN 算Q值 与选Q值是分开的，2个网络。 Multi-step Dueling DQN 如果更新了，即使有的action没有被采样到，也会更新Q值 Prioritized Reply Noisy Net Epsilon Gre...
dqn在训练过程中loss越来越大_深度强化学习——从DQN到DDPG
05-25
DQN在训练过程中loss越来越大可能是由于以下原因： 1. 学习率过大：学习率过大会导致网络权重更新过快，使得loss不断增加。可以尝试减小学习率，或者使用自适应学习率的优化器（如Adam）。 2. 经验回放池中的样本有问题：经验回放池中的样本应该是随机抽取的，如果其中存在相关性较高的样本，会导致网络训练过程中出现偏差，从而导致loss不断增加。可以尝试调整经验回放池的大小或者使用更加随机的采样策略。 3. 网络结构不合适：网络结构不合适也会导致loss不断增加。可以尝试增加网络的层数或者节点数，或者使用其他更加适合问题的网络结构。 4. 训练过程中出现了错误：训练过程中出现了错误，例如计算误差时出现了错误，也会导致loss不断增加。此时需要仔细检查代码，找出错误并进行修正。 综上所述，如果DQN在训练过程中loss越来越大，需要仔细检查代码并进行相应的调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值