Q-learning 和 deep Q-learning（DQN）理解

最新推荐文章于 2023-04-29 23:32:27 发布
最新推荐文章于 2023-04-29 23:32:27 发布
阅读量1.2k 收藏 10
点赞数 1
文章标签： 深度学习 机器学习 人工智能
原文链接：https://mofanpy.com/tutorials/machine-learning/ML-intro/DQN/
版权

Q-learning ：

        根据 Q 表的估计, 因为在 s1 中, a2 的值比较大, 通过之前的决策方法, 我们在 s1 采取了 a2, 并到达 s2, 这时我们开始更新用于决策的 Q 表, 接着我们并没有在实际中采取任何行为, 而是再想象自己在 s2 上采取了每种行为, 分别看看两种行为哪一个的 Q 值大, 比如说 Q(s2, a2) 的值比 Q(s2, a1) 的大, 所以我们把大的 Q(s2, a2) 乘上一个衰减值 gamma (比如是0.9) 并加上到达s2时所获取的奖励 R (这里还没有获取到我们的棒棒糖, 所以奖励为 0), 因为会获取实实在在的奖励 R , 我们将这个作为我现实中 Q(s1, a2) 的值, 但是我们之前是根据 Q 表估计 Q(s1, a2) 的值. 所以有了现实和估计值, 我们就能更新Q(s1, a2) , 根据 估计与现实的差距, 将这个差距乘以一个学习效率 alpha 累加上老的 Q(s1, a2) 的值 变成新的值. 但时刻记住, 我们虽然用 maxQ(s2) 估算了一下 s2 状态, 但还没有在 s2 做出任何的行为, s2 的行为决策要等到更新完了以后再重新另外做. 这就是 off-policy 的 Q learning 是如何决策和学习优化决策的过程.

         这一张图概括了我们之前所有的内容. 这也是 Q learning 的算法, 每次更新我们都用到了 Q 现实和 Q 估计, 而且 Q learning 的迷人之处就是 在 Q(s1, a2) 现实 中, 也包含了一个 Q(s2) 的最大估计值, 将对下一步的衰减的最大估计和当前所得到的奖励当成这一步的现实, 很奇妙吧. 最后我们来说说这套算法中一些参数的意义. Epsilon greedy 是用在决策上的一种策略, 比如 epsilon = 0.9 时, 就说明有90% 的情况我会按照 Q 表的最优值选择行为, 10% 的时间使用随机选行为. alpha是学习率, 来决定这次的误差有多少是要被学习的, alpha是一个小于1 的数. gamma 是对未来 reward 的衰减值. 我们可以这样想象.

deep Q-learning（DQN）：

        由于Q-learning的表格存储s和a，但是随着状态s的增加，当s的数量超过一定量时 Q-learning不再适用。

        我们使用表格来存储每一个状态 state, 和在这个 state 每个行为 action 所拥有的 Q 值. 而当今问题是在太复杂, 状态可以多到比天上的星星还多(比如下围棋). 如果全用表格来存储它们, 恐怕我们的计算机有再大的内存都不够, 而且每次在这么大的表格中搜索对应的状态也是一件很耗时的事. 不过, 在机器学习中, 有一种方法对这种事情很在行, 那就是神经网络. 我们可以将状态和动作当成神经网络的输入, 然后经过神经网络分析后得到动作的 Q 值, 这样我们就没必要在表格中记录 Q 值, 而是直接使用神经网络生成 Q 值. 还有一种形式的是这样, 我们也能只输入状态值, 输出所有的动作值, 然后按照 Q learning 的原则, 直接选择拥有最大值的动作当做下一步要做的动作. 我们可以想象, 神经网络接受外部的信息, 相当于眼睛鼻子耳朵收集信息, 然后通过大脑加工输出每种动作的值, 最后通过强化学习的方式选择动作.

 

        接下来我们基于第二种神经网络来分析, 我们知道, 神经网络是要被训练才能预测出准确的值. 那在强化学习中, 神经网络是如何被训练的呢? 首先, 我们需要 a1, a2 正确的Q值, 这个 Q 值我们就用之前在 Q learning 中的 Q 现实来代替. 同样我们还需要一个 Q 估计 来实现神经网络的更新. 所以神经网络的的参数就是老的 NN 参数 加学习率 alpha 乘以 Q 现实 和 Q 估计 的差距. 我们整理一下. 

        我们通过 NN 预测出Q(s2, a1) 和 Q(s2,a2) 的值, 这就是 Q 估计. 然后我们选取 Q 估计中最大值的动作来换取环境中的奖励 reward. 而 Q 现实中也包含从神经网络分析出来的两个 Q 估计值, 不过这个 Q 估计是针对于下一步在 s' 的估计. 最后再通过刚刚所说的算法更新神经网络中的参数. 但是这并不是 DQN 会玩电动的根本原因. 还有两大因素支撑着 DQN 使得它变得无比强大. 这两大因素就是 Experience replay 和 Fixed Q-targets.

        简单来说, DQN 有一个记忆库用于学习之前的经历. 在之前的简介影片中提到过, Q learning 是一种 off-policy 离线学习法, 它能学习当前经历着的, 也能学习过去经历过的, 甚至是学习别人的经历. 所以每次 DQN 更新的时候, 我们都可以随机抽取一些之前的经历进行学习. 随机抽取这种做法打乱了经历之间的相关性, 也使得神经网络更新更有效率. Fixed Q-targets 也是一种打乱相关性的机理, 如果使用 fixed Q-targets, 我们就会在 DQN 中使用到两个结构相同但参数不同的神经网络, 预测 Q 估计 的神经网络具备最新的参数, 而预测 Q 现实 的神经网络使用的参数则是很久以前的. 有了这两种提升手段, DQN 才能在一些游戏中超越人类.

 

 

xiting123
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Deep QLearning原理与代码实例讲解
禅与计算机程序设计艺术
05-20 426
1. 背景介绍 1.1 强化学习概述 强化学习 (Reinforcement Learning, RL) 是一种机器学习方法，它使智能体 (agent) 能够通过与环境互动来学习最佳行为。智能体在环境中执行动作，并接收奖励或惩罚作为反馈。通过最大化累积奖励，智能体学会在特定环境中采取最佳行动。
从Q-Learning到Deep-Q-Learning
ChanZany的博客
06-07 1479
Deep Learning 定义 深度学习(Deep Learing)由一组算法和技术构成，这些算法和技术试图发现数据的重要特征并对其高级抽象建模。深度学习的主要目标是通过对数据的自动学习来避免手动描述数据结构(如手写特征)。深度指的是通常具有两个或多个隐藏层的任何神经网络即(DNN)。 大多数深度学习模型都基于人工神经网络（ANN），尽管它们也可以包含命题公式或在深度生成模型中分层组织的潜在变量，例如Deep Belief Networks和Deep Boltzmann Machines中的节点。 人工神
强化学习系列一：Q-Learning及Deep Q-Learning
Swift's Blog
10-13 323
Q-Learning epsilon greedy strategy freecodecamp 时序差分离线控制算法Q-Learning Deep Q-Learning Deep Reinforcement Learning: Guide to Deep Q-Learning 强化学习——从Q-Learning到DQN到底发生了什么？ Deep Q Learning之小白 价值函数的近似表示与Deep Q-Learning ...
Q学习和深度Q学习（DQN）论文笔记
热门推荐
geter_CS的博客
01-02 2万+
Q学习（Q-learning） 强化学习中有个很重要的递归关系，贝尔曼方程（Bellman Equation）： Qπ(st,at)=E[r+γE[Qπ(st+1,at+1)]]Q^\pi(s_t,a_t)=E[r+\gamma E[Q^\pi(s_{t+1},a_{t+1})]]Qπ(st​,at​)=E[r+γE[Qπ(st+1​,at+1​)]] 这个公式实际上也揭露了状态的马尔科夫性质，也...
从Q-Learning到Deep Q-Learning(DQN)
爱安敝之的博客
06-23 348
(0)前言 本文主要介绍了强化学习的Q-Learning到Deep Q-Learning，并将代码分别应用到了FlappyBird小游戏中，文末给出了所有参考资料。 (1)强化学习 有机体在与环境不断交互的过程中，在与环境给予的奖励(reward)或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。 一般而言强化学习要考虑： 环境状态的集合ΩS{\displaystyle \Omega S}ΩS; 动作的集合ΩA{\displaystyle \Omega A}ΩA; 智能体针对环境状态
人工智能课程笔记（7）强化学习（基本概念 Q学习 深度强化学习 附有大量例题）
hanmo22357的博客
04-29 3472
强化学习和深度学习都是机器学习的分支，但是两者在方法和应用场景上有所不同。强化学习中包含几个基本概念：智能主体、状态、动作、奖励和环境。在强化学习中，智能主体通过不断与环境交互，并根据获得的奖励来不断调整自己的策略，最终学习到最优的行动策略。智能主体通过观察当前状态，选择最优的动作，并获得相应的奖励，不断迭代学习，从而实现任务的优化。强化学习、有监督学习和无监督学习是机器学习中三种不同的学习范式，它们的区别如下：总体来说，监督学习需要有标注的数据作为输入，无监督学习不需要标注的数据，而强化学习则是通过与环境
Q-learning_Q-learning_Q-Learningpython_DEMO_
10-01
Q-learning不仅适用于离散动作空间的问题，也可以通过近似方法扩展到连续动作空间，例如使用神经网络作为Q函数的近似器，这就是著名的Deep Q-Network (DQN)。 总之，Q-learning是一种强大的强化学习算法，通过学习Q...
Deep-Q-Learning：在pytorch中使用Double Deep Q-Learning教AI使其安全降落飞船
02-14
在这个项目中，我们将关注一个具体的应用场景——“Deep-Q-Learning：在PyTorch中使用Double Deep Q-Learning教AI使其安全降落飞船”。这个任务涉及到了几个关键的技术点，包括Q-Learning、Deep Q-Networks (DQN)...
GAN-Q-Learning:实施GAN Q学习https
05-26
该代码实现了的“ GAN Q-Learning”算法。 纸上的修改 已发布的算法中有错字（以鉴别符丢失的形式） 当前，似乎存在一种情况，导致鉴别器（最终）在串极环境中（甚至在学习实际分布之前）完全区别于生成器。 我已经...
用Q-learning算法实现自动走迷宫机器人的方法示例
09-19
总的来说，通过理解和应用Q-learning算法，我们可以构建一个能在迷宫中自主导航的智能机器人。这个过程涉及到状态的感知、动作的选择、奖励的获取以及策略的更新，是强化学习理论在实际问题中的典型应用。通过实践这...
deep-q-learning：Keras中的最小深度Q学习（DQN和DDQN）实现
02-05
深度学习通过深度强化学习制作简单的游戏AI简介 Keras和Gym中最小和简单的深度Q学习实现。 不到100行代码！ 博客文章包含dqn.py代码的说明。 为了方便起见，我对该存储库进行了一些细微的调整，例如load和save功能。...
deep q_learning
06-19
# Deep Reinforcement Learning for Keras [![Build Status](https://api.travis-ci.org/matthiasplappert/keras-rl.svg?branch=master)](https://travis-ci.org/matthiasplappert/keras-rl) [![Documentation](https://readthedocs.org/projects/keras-rl/badge/)](http://keras-rl.readthedocs.io/) [![License](https://img.shields.io/github/license/mashape/apistatus.svg?maxAge=2592000)](https://github.com/matthiasplappert/keras-rl/blob/master/LICENSE) [![Join the chat at https://gitter.im/keras-rl/Lobby](https://badges.gitter.im/keras-rl/Lobby.svg)](https://gitter.im/keras-rl/Lobby) ## What is it? `keras-rl` implements some state-of-the art deep reinforcement learning algorithms in Python and seamlessly integrates with the deep learning library [Keras](http://keras.io). Just like Keras, it works with either [Theano](http://deeplearning.net/software/theano/) or [TensorFlow](https://www.tensorflow.org/), which means that you can train your algorithm efficiently either on CPU or GPU. Furthermore, `keras-rl` works with [OpenAI Gym](https://gym.openai.com/) out of the box. This means that evaluating and playing around with different algorithms is easy. Of course you can extend `keras-rl` according to your own needs. You can use built-in Keras callbacks and metrics or define your own. Even more so, it is easy to implement your own environments and even algorithms by simply extending some simple abstract classes. In a nutshell: `keras-rl` makes it really easy to run state-of-the-art deep reinforcement learning algorithms, uses Keras and thus Theano or TensorFlow and was built with OpenAI Gym in mind. ## What is included? As of today, the following algorithms have been implemented: - Deep Q Learning (DQN) [[1]](http://arxiv.org/abs/1312.5602), [[2]](http://home.uchicago.edu/~arij/journalclub/papers/2015_Mnih_et_al.pdf) - Double DQN [[3]](http://arxiv.org/abs/1509.06461) - Deep Deterministic Policy Gradient (DDPG) [[4]](http://arxiv.org/abs/1509.02971) - Continuous DQN (CDQN or NAF) [[6]](http://arxiv.org/abs/1603.00748) - Cross-Entropy Method (CEM) [[7]](http://learning.mpi-sws.org/mlss2016/slides/2016-MLSS-RL.pdf), [[8]](http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.81.6579&rep=rep1&type=pdf) - Dueling network DQN (Dueling DQN) [[9]](https://arxiv.org/abs/1511.06581) - Deep SARSA [[10]](http://people.inf.elte.hu/lorincz/Files/RL_2006/SuttonBook.pdf) You can find more information on each agent in the [wiki](https://github.com/matthiasplappert/keras-rl/wiki/Agent-Overview). I'm currently working on the following algorithms, which can be found on the `experimental` branch: - Asynchronous Advantage Actor-Critic (A3C) [[5]](http://arxiv.org/abs/1602.01783) Notice that these are **only experimental** and might currently not even run. ## How do I install it and how do I get started? Installing `keras-rl` is easy. Just run the following commands and you should be good to go: ```bash pip install keras-rl ``` This will install `keras-rl` and all necessary dependencies. If you want to run the examples, you'll also have to install `gym` by OpenAI. Please refer to [their installation instructions](https://github.com/openai/gym#installation). It's quite easy and works nicely on Ubuntu and Mac OS X. You'll also need the `h5py` package to load and save model weights, which can be installed using the following command: ```bash pip install h5py ``` Once you have installed everything, you can try out a simple example: ```bash python examples/dqn_cartpole.py ``` This is a very simple example and it should converge relatively quickly, so it's a great way to get started! It also visualizes the game during training, so you can watch it learn. How cool is that? Unfortunately, the documentation of `keras-rl` is currently almost non-existent. However, you can find a couple of more examples that illustrate the usage of both DQN (for tasks with discrete actions) as well as for DDPG (for tasks with continuous actions). While these examples are not replacement for a proper documentation, they should be enough to get started quickly and to see the magic of reinforcement learning yourself. I also encourage you to play around with other environments (OpenAI Gym has plenty) and maybe even try to find better hyperparameters for the existing ones. If you have questions or problems, please file an issue or, even better, fix the problem yourself and submit a pull request! ## Do I have to train the models myself? Training times can be very long depending on the complexity of the environment. [This repo](https://github.com/matthiasplappert/keras-rl-weights) provides some weights that were obtained by running (at least some) of the examples that are included in `keras-rl`. You can load the weights using the `load_weights` method on the respective agents. ## Requirements - Python 2.7 - [Keras](http://keras.io) >= 1.0.7 That's it. However, if you want to run the examples, you'll also need the following dependencies: - [OpenAI Gym](https://github.com/openai/gym) - [h5py](https://pypi.python.org/pypi/h5py) `keras-rl` also works with [TensorFlow](https://www.tensorflow.org/). To find out how to use TensorFlow instead of [Theano](http://deeplearning.net/software/theano/), please refer to the [Keras documentation](http://keras.io/#switching-from-theano-to-tensorflow). ## Documentation We are currently in the process of getting a proper documentation going. [The latest version of the documentation is available online](http://keras-rl.readthedocs.org). All contributions to the documentation are greatly appreciated! ## Support You can ask questions and join the development discussion: - On the [Keras-RL Google group](https://groups.google.com/forum/#!forum/keras-rl-users). - On the [Keras-RL Gitter channel](https://gitter.im/keras-rl/Lobby). You can also post **bug reports and feature requests** (only!) in [Github issues](https://github.com/matthiasplappert/keras-rl/issues). ## Running the Tests To run the tests locally, you'll first have to install the following dependencies: ```bash pip install pytest pytest-xdist pep8 pytest-pep8 pytest-cov python-coveralls ``` You can then run all tests using this command: ```bash py.test tests/. ``` If you want to check if the files conform to the PEP8 style guidelines, run the following command: ```bash py.test --pep8 ``` ## Citing If you use `keras-rl` in your research, you can cite it as follows: ```bibtex @misc{plappert2016kerasrl, author = {Matthias Plappert}, title = {keras-rl}, year = {2016}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/matthiasplappert/keras-rl}}, } ``` ## Acknowledgments The foundation for this library was developed during my work at the [High Performance Humanoid Technologies (H²T)](https://h2t.anthropomatik.kit.edu/) lab at the [Karlsruhe Institute of Technology (KIT)](https://kit.edu). It has since been adapted to become a general-purpose library. ## References 1. *Playing Atari with Deep Reinforcement Learning*, Mnih et al., 2013 2. *Human-level control through deep reinforcement learning*, Mnih et al., 2015 3. *Deep Reinforcement Learning with Double Q-learning*, van Hasselt et al., 2015 4. *Continuous control with deep reinforcement learning*, Lillicrap et al., 2015 5. *Asynchronous Methods for Deep Reinforcement Learning*, Mnih et al., 2016 6. *Continuous Deep Q-Learning with Model-based Acceleration*, Gu et al., 2016 7. *Learning Tetris Using the Noisy Cross-Entropy Method*, Szita et al., 2006 8. *Deep Reinforcement Learning (MLSS lecture notes)*, Schulman, 2016 9. *Dueling Network Architectures for Deep Reinforcement Learning*, Wang et al., 2016 10. *Reinforcement learning: An introduction*, Sutton and Barto, 2011 ## Todos - Documentation: Work on the documentation has begun but not everything is documented in code yet. Additionally, it would be super nice to have guides for each agents that describe the basic ideas behind it. - TRPO, priority-based memory, A3C, async DQN, ...
Deep Q learning toturial
05-01
Deep Q Network 的简称叫 DQN, 是将 Q learning 的优势 和 Neural networks 结合了. 如果我们使用 tabular Q learning, 对于每一个 state, action 我们都需要存放在一张 q_table 的表中. 如果像显示生活中, 情况可就比那个迷宫的状况复杂多了, 我们有千千万万个 state, 如果将这千万个 state 的值都放在表中, 受限于我们计算机硬件, 这样从表中获取数据, 更新数据是没有效率的. 这就是 DQN 产生的原因了. 我们可以使用神经网络来 估算 这个 state 的值, 这样就不需要一张表了.
Deep Q Learning
qq907177955的博客
05-14 262
转载自：https://www.jianshu.com/p/e6f5e9589285 概述 DQN其实是深度学习和强化学习知识的结合，也就是用Deep Networks框架来近似逼近强化学习中的Q value。其中，使用的Deep Networks有两种框架，分别如下图所示： 框架1 框架1的输入是State和Action，State可以是一个游戏画面，Action可以是向下走，开火等，通过Network输出的是在State的情况下采取Action的Q value。 框架2 框架2的输入是当前的Stat
Deep Q-Learning（DQN）
JacobJiang的博客
07-06 4015
Playing Atari with Deep Reinforcement Learning 《Playing Atari with Deep Reinforcement Learning》 链接 使用强化学习直接从高维感官输入成功学习控制策略的深度学习模型。该模型是一个卷积神经网络，使用Q-learning的变体进行训练，输入为原始像素，输出为估计未来奖励的值函数。 早些时候，从视觉和语言等高维感官输入来控制主体的一些RL应用都依赖于与线性值函数或策略表示相结合的手动设计的特征。现在，在深度学习方面的进展
深度增强学习和深度Q学习
little豪斯
11-23 1126
先放这里，持续更新…..
深度强化学习之Deep Q Learning
weixin_44188264的博客
04-12 1509
深度强化学习之Deep Q Learning 本文主要讲解：Deep Q Network 下面我们简称为 DQN。DQN采用深度神经网络来表示Q函数，通常也称为Deep Q Learning 。 DQN是在论文《Playing Atari with Deep Reinforcement Learning》中提出的。这篇论文主要讲解如何用深度强化学习来玩Astair游戏。 首先，先来简单介绍一下A...
深度强化学习(Deep Q-learning,DQN)
qq_31244453的博客
10-27 646
参考：莫烦Python 1.什么是DQN? 如图显示，主要由DNN＋Q-Learning组成。 Q-Learning已经显示了它的强大。由于场景复杂，状态太多，计算机运行有限。DQN就为解决这个而生。 强大的DQN输入输出有两种，第一种，输入状态和动作，输出为Q表。第二种，输入状态，输出动作。 分析第二种情况： 反向传播更新DNN。 使得DQN无比强大的两大原因：第一，Experience replay；第二，Fixed Q-targets； ...
Deep Q-Learning深度增强学习算法
段星星的博客
08-25 1699
DQN算法由于某些环境中状态过多，通过传统Q-learning的方法，维护一张规模巨大的Q表显然是不现实的
请提供Q-learning算法相关知识
最新发布
07-14
Q-learning是一种经典的强化学习算法，用于学习代理在环境中采取行动的最佳策略。以下是关于Q-learning算法的一些相关知识： 1. Q值函数（Q-Value Function）：Q-learning算法使用一个Q值函数来估计在给定状态和动作下，代理能够获得的长期累积奖励的预期值。这个函数可以表示为Q(s, a)，其中s表示状态，a表示动作。 2. Q-learning更新规则：Q-learning使用Bellman方程进行更新。Q值函数的更新公式为：Q(s, a) = Q(s, a) + α * (r + γ * max(Q(s', a')) - Q(s, a))，其中α是学习率，r是当前状态下采取动作a后获得的即时奖励，γ是折扣因子，s'是下一个状态。 3. 探索与利用：在Q-learning中，探索与利用是一个重要的平衡问题。通过以一定的概率选择当前已知最优动作（利用）和以一定的概率随机选择其他动作（探索），代理可以逐渐学习到最佳策略。 4. ε-贪心策略：为了实现探索与利用的平衡，通常会使用ε-贪心策略。该策略以概率1-ε选择当前已知最优动作，以概率ε选择随机动作。 5. 基于表格的Q-learning：最简单的Q-learning方法是基于表格的，其中Q值函数存储在一个二维表中。每次代理与环境交互后，根据更新规则更新对应的Q值。 6. Q-learning的收敛性：在满足一定条件下，经过足够多的训练迭代，Q-learning算法可以收敛到最优的Q值函数。 7. 基于函数逼近的Q-learning：对于大型状态空间的问题，使用表格方式存储Q值函数会变得不可行。因此，可以使用函数逼近方法（如神经网络）来估计Q值函数。 这些是关于Q-learning算法的一些基本知识。请注意，Q-learning是一种基本的强化学习算法，还有其他的改进和变种算法，如Double Q-learning、Deep Q-Network（DQN）等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值