强化学习DQN算法流程

最新推荐文章于 2024-04-07 17:37:45 发布
最新推荐文章于 2024-04-07 17:37:45 发布
阅读量5.9k 收藏 24
点赞数 4
分类专栏： 强化学习RL 文章标签： 强化学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ashyhaha/article/details/120624864
版权

DQN（深度Q学习）、经验回放、固定Q目标迭代流程。

DQN简介
Deep Q Network(DQN)：是将神经网略（neural network）和Q-learning结合，利用神经网络近似模拟函数Q（s，a），输入是问题的状态，输出是每个动作a对应的Q值，然后依据Q值大小选择对应状态执行的动作，以完成控制。
在这里插入图片描述

DQN算法伪代码
在这里插入图片描述

以下是深度强化学习：深度Q网络DQN的迭代流程、其中增加了经验回放、固定Q目标等处理技巧
流程的关键点是：

1、该流程是一个横向展开流程，从左向右是时间轴上的逐步迭代。
2、流程中动作值函数的逼近方法使用的是神经网络模型（图中含NET的步骤，具体根据需要设计）。
3、除初始化环节，每个迭代循环分为两大步操作，以随机缓存区为分界，上部为采样环节（sample，提供新的数据），下部为学习环节（learn：选取小批量数据进行学习，优化网络参数）
4、该算法是离线策略（off-line），即使用了两个策略（策略π，策略max）分别完成探索和学习。
5、该算法使用了经验回放技巧，即将数据加载到随机缓存区（随机避免了时序关联的影响），并通过抽取小批量进行训练，使得历史数据得到有效利用。
6、该算法使用了固定Q目标的技巧，即采用了两个网络W、W-，在学习时通过网络W-来估算真值，通过网络W来进行优化，当满足一定条件后用网络W来更新网络W-，这样使得目标（真值）和预测值做了分离，有效减少振荡。
7、小批量采样后有多组样本，图中仅用s，a，r，s1做了简单代替，实际后续操作中是一个二维数组，实现中需要注意。
8、训练NET的本质是：通过梯度下降等方法调整系统参数W （更新网络W步骤），使得网络模型逼近真实动作值函数。
9、图中的策略π虽未改变，但是受网络调整的影响，再次使用时与上次使用的条件会发生差异，因此会间接发生改变。
10、迭代的结束标志此处未给出，一般是系统提示结束（到达了目标、或者边界），或者是达到了指定的迭代次数主动退出，取决于具体实现。
在这里插入图片描述
参考资料：
https://www.twblogs.net/a/5c2e5432bd9eee35b3a49109
https://www.cnblogs.com/jsfantasy/p/13623592.html
https://www.nature.com/articles/nature14236/
https://www.jianshu.com/p/42507aa63b05

Ashy咸鱼干
关注
  • 4
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【强化学习】深度强化学习：DQN（深度Q学习）、经验回放、固定Q目标迭代流程。
zhuhua造轮子的博客
01-03 7371
以下是深度强化学习：深度Q网络DQN的迭代流程、其中增加了经验回放、固定Q目标等处理技巧。 流程的关键点是： 1、该流程是一个横向展开流程，从左向右是时间轴上的逐步迭代。 2、流程中动作值函数的逼近方法使用的是神经网络模型（图中含NET的步骤，具体根据需要设计）。 3、除初始化环节，每个迭代循环分为两大步操作，以随机缓存区为分界，上部为采样环节（sample，提供新的数据），下部为学习环节...
DQN机器学习
08-07
通过DQN的模型，实现机器学习，并且进行统计。练手的DEMO。
基于强化学习DQN实现的走迷宫程序.zip
05-11
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一。它主要用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。强化学习的特点在于没有监督数据，只有奖励信号。 强化学习的常见模型是标准的马尔可夫决策过程（Markov Decision Process, MDP）。按给定条件，强化学习可分为基于模式的强化学习（model-based RL）和无模式强化学习（model-free RL），以及主动强化学习（active RL）和被动强化学习（passive RL）。强化学习的变体包括逆向强化学习、阶层强化学习和部分可观测系统的强化学习。求解强化学习问题所使用的算法可分为策略搜索算法和值函数（value function）算法两类。 强化学习理论受到行为主义心理学启发，侧重在线学习并试图在探索-利用（exploration-exploitation）间保持平衡。不同于监督学习和非监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的奖励（反馈）获得学习信息并更新模型参数。强化学习问题在信息论、博弈论、自动控制等领域有得到讨论，被用于解释有限理性条件下的平衡态、设计推荐系统和机器人交互系统。一些复杂的强化学习算法在一定程度上具备解决复杂问题的通用智能，可以在围棋和电子游戏中达到人类水平。 强化学习在工程领域的应用也相当广泛。例如，Facebook提出了开源强化学习平台Horizon，该平台利用强化学习来优化大规模生产系统。在医疗保健领域，RL系统能够为患者提供治疗策略，该系统能够利用以往的经验找到最优的策略，而无需生物系统的数学模型等先验信息，这使得基于RL的系统具有更广泛的适用性。 总的来说，强化学习是一种通过智能体与环境交互，以最大化累积奖励为目标的学习过程。它在许多领域都展现出了强大的应用潜力。
强化学习DQN笔记.md
08-21
内容概要： 本文深入探讨了强化学习（Reinforcement Learning）以及深度强化学习（Deep Reinforcement Learning）的关键概念和应用。文章首先介绍了强化学习的基本概念，如目标、交互方式等，然后详解了马尔科夫决策过程（MDP）、值函数与策略等核心要素。随后，文章深入介绍了基于深度学习的强化学习算法——Deep Q-Networks（DQN）以及其运作原理。此外，文章提及了AlphaGo作为一个成功的强化学习应用案例，通过自我对弈学习来战胜围棋顶尖选手。最后，文章给出了一个实际的代码示例，展示了如何使用DQN解决OpenAI Gym中的CartPole问题。 适合人群： 适合对强化学习和深度学习感兴趣的学习者。 能学到什么： 阅读本文后，读者将能够深入了解强化学习的核心概念、马尔科夫决策过程、值函数、策略等。同时，对于已掌握机器学习和深度学习基础的读者，将能够深入理解Deep Q-Networks（DQN）算法及其实现细节。
强化学习-----DQN（Deep Q-network）
qq_74722169的博客
04-07 1217
DQN（Deep Q-Network）是一种基于深度学习和强化学习的算法，由DeepMind提出，用于解决离散动作空间下的马尔科夫决策过程（MDP）问题。它是首个成功将深度学习应用于解决强化学习任务的算法之一。DQN，即深度Q网络（Deep Q-network），是指基于深度学习的Q-Learing算法。那什么是Q-leaning？可以看上一篇文章Q-learning是一种经典的强化学习算法，用于解决马尔可夫决策过程（Markov Decision Process，MDP）中的控制问题。
deep-q-learning：Keras中的最小深度Q学习（DQN和DDQN）实现
02-05
深度学习 通过深度强化学习制作简单的游戏AI简介 Keras和Gym中最小和简单的深度Q学习实现。 不到100行代码！ 博客文章包含dqn.py代码的说明。 为了方便起见，我对该存储库进行了一些细微的调整，例如load和save功能。 我还使memory成为双端队列，而不只是列表。 这是为了限制内存中元素的最大数量。 训练对于dqn.py可能是不稳定的。 ddqn.py减轻了此问题。 我将在下一篇文章中介绍ddqn 。
DQN算法&流程图&代码实现（Tensorflow2.x / Keras)
ggjkd的博客
03-14 1万+
一、 DQN算法&流程图 1） 简介 DQN全名Deep Q Network。对于离散状态空间，若智能体所处的状态成千上万，仅用表格法将状态行为对存储很不实际，例如Qlearning；对于连续状态空间企图用表格法储存更是不可能。所以才需要对值函数进行逼近，以线性或非线性的函数来完成(Q，a) = f(s，theta)的映射，并将值函数的改进变成逼近函数参数的改进，这个过程就像Q值查表一样，根据当前状态直接根据函数计算出各状态对应的Q值，再根据目标策略值函数与行为策略值函数差去更新逼近函数的参数。线性
DQN（Nature DQN）算法流程讲解
热门推荐
weixin_42798751的博客
04-14 1万+
DQN相较于传统的强化学习算法（Q-learning）有三大重要的改进： （1）引入深度学习中的神经网络，利用神经网络去拟合Q-learning中的Q表，解决了Q-learning中，当状态维数过高时产生的“维数灾难”问题； （2）引入目标网络，利用延后更新的目标网络计算目标Q值，极大的提高了网络训练的稳定性和收敛性； （3）引入经验回放机制，使得在进行网络更新时输入的数据符合独立同分布，打破了数据间的相关性。 上图是DQN的详细算法流程，讲解如下： 首先，算法开始前随机选择一个初始状态，然.
强化学习之DQN流程详解
Ivy_yijing1115的博客
04-08 6243
本文的主要流程按照：Q learning的基本流程神经网络的引入deepmind 2015年nature论文的两种改进策略完整的DQN流程（参考上述论文）来进行讲解。1. Q learning 的基本流程几个基础概念：Q(s,a)--存储在状态s下动作a的Q value的矩阵，矩阵规模为num(s)*num(a);s--状态，a--动作，r--回报值；整个Q学习的过程是利用bellman公式的等式...
DQN算法流程及原理
zhaoweiaier的博客
11-26 1052
DQN算法流程图
关于深度 Q 学习
FM_1793的博客
10-10 210
深度 Q 学习（Deep Q-Learning，DQL）是一种强化学习（Reinforcement Learning，RL）方法，它结合了深度神经网络和 Q 学习算法，用于解决决策问题和控制问题。它的参数是通过周期性更新来固定的，以减少估计 Q 值与目标 Q 值之间的相关性。：深度 Q 学习使用一个 Q 值网络（也称为 Q 网络）来估计状态-动作对的 Q 值。ε是一个小的正数，以一定的概率随机选择行动，以便在不同的状态下探索未知的情况，而不仅仅是依赖于已知的最佳策略。
基于强化学习的自动驾驶预测控制技术
01-27
如今，道路上车辆越来越多，道路运输系统变得越来越繁忙。为了使交通和移动更加智能化和高效，自动驾驶汽车被认为是有前途的解决方案。随着外部传感、运动规划和车辆控制等方面取得显著的成果，自动驾驶汽车的自主创新能够很好地帮助车辆在预先设定的场景下独立运行。通常，自动驾驶车辆中的系统架构由三个主要处理模块组成，参见图1作为图示[2]。传感器和数字地图提供的数据在感知和定位模块中进行，以呈现驾驶情况的代表性特征；运动规划模块旨在根据给定的传感器和地图信息生成适当的决策策略并得出最佳轨迹；轨迹控制器模块的目的是计算处理加速和转向的具体控制动作，以维持现有的轨迹[3]。决策和路径规划是自动驾驶汽车的关键技
基于 Python 在 gym Atari 环境中实现 DQN 算法及其变体【100011082】
03-02
在这次实验中，我发现自己之前没太接触过深度学习、不熟悉 pytorch 还是给我阅读框架代码和补全算法的过程带来了很大困难，而且轻薄本跑 深度学习还是勉为其难了一些，训练太慢了，而且由于内存不足每次训练 到几万帧就会强行退出，所以也很难验证算法公式写没写对、超参数设置 的合不合适，修改一下重新训练，就又要一个小时，由于算法前期偏探索， 本身就有一定随机性，设备又只能坚持到前几万帧，还不一定看得出效果， 写到后面确实有点绝望了。
6.categorical dqn.ipynb
09-02
关于categorical dqn的例子，适合初学者对深度强化学习categorical dqn的认识和了解
深度强化学习 - QLearning
01-30
Introduction of Q-Learning Tips of Q-Learning Q-Learning for Continuous Actions
强化学习算法笔记整理和总结
04-06
里面包含了强化学习model-free的经典论文（Q-learning、SARSA、TD(lambda)、DQN、DDQN、prioritized replay DQN、Dueling DQN、policy gradient、AC、A2C、A3C、DDPG、TD3、TRPO、PPO），能帮助你快速入门强化学习。...
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip
12-15
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip 基于Pytorch实现深度强化...
深度强化学习基础知识 思维导图
05-15
强化学习基本概念 基本方法（Value-Based、Policy-Based、Actor-Critic） 策略学习（Reinforce with baseline、A2C） 价值学习（Sarsa、Q-Learning（DQN）） 连续动作控制（DPG、DDPG） 包含上述各种基本算法的原理...
基于深度强化学习DQN的FlappyBird游戏AI开发 .zip
最新发布
05-11
基于深度强化学习DQN的FlappyBird游戏AI开发 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一。它主要用于描述和解决智能体（agent）在与环境的交互过程...
强化学习算法DQN的具体流程
04-21
DQN（Deep Q-Network）是一种深度强化学习算法，其具体流程包括以下步骤： 1. 初始化神经网络，用于估计每个状态下采取不同行动的Q值； 2. 将当前状态作为输入，通过神经网络计算每个行动的Q值； 3. 选择行动（如采用epsilon-greedy策略，在一定概率下随机选择行动，否则选择具有最高Q值的行动）； 4. 执行行动并观察下一个状态以及获得的奖励； 5. 将状态、行动、下一个状态和奖励存储在经验回放缓冲区中； 6. 从经验回放缓冲区中随机选取一批样本，计算目标Q值，更新神经网络参数使之逼近目标Q值； 7. 重复步骤2-6，直到达到预设的训练次数或达到稳定的性能水平。 需要注意的是，在训练过程中，可能存在过度探索导致的不稳定性问题，因此需要采取多种方法（如经验回放、目标网络等）来提高其稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值