强化学习笔记（四）Deep Q-learning/深度Q学习

最新推荐文章于 2024-04-26 13:31:03 发布
最新推荐文章于 2024-04-26 13:31:03 发布
阅读量1.1k 收藏 6
点赞数
分类专栏： 强化学习 文章标签： 强化学习 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuoMin2523/article/details/118088490
版权

目录

知识点回顾

问题1：什么是线性函数近似方法？线性函数近似的思想是什么？

问题2：什么是DQN？DQN的挑战是什么？

问题3：Q-learning函数近似的过程中面临的问题是什么？

 问题4：DQN—experience replay

问题5：DQN—target network

问题6 ：什么是DDQN？

考题1：target network

考题2：Experience replay in deep Q-learning

考题3：对于给定的 Q 函数，是否存在唯一的 A advantage function 和 V？

考题4：我们应该选择哪一个来获得最接近MC首次访问估计的V估计？

知识点回顾

分析：这题的正确选项是1，因为2错在权重w不依赖于状态，即w(s)这样的表示是错的。3错在收敛不能保证是最好的，结果可能仍然比最好的MSE解决方案差一倍。

问题1：什么是线性函数近似方法？线性函数近似的思想是什么？

用线性模型来拟合价值函数。步骤就是

  1. 先定义好特征函数，
  2. 给定状态s的时候，根据x(s)提取出特征，
  3. 然后线性叠加这些特征，
  4. 进而估计这个V值。
  5. 根据loss function来求解w这个权重。

线性函数近似的难点在于需要人为的设计好的特征 ，这个比较困难。

问题2：什么是DQN？DQN的挑战是什么？

深度Q学习将深度学习和强化学习相结合，核心就是用一个人工神经网络来代替动作价值函数，神经网络具有强大的表达能力，能够自动寻找特征，所以采用神经网络有潜力比传统人工特征强大很多。

挑战：效率问题，很多参数需要优化。死亡三角问题，也就是难以保证得到最优解。

<
最低0.47元/天 解锁文章
唠叨小主
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习笔记 - Deep Q-Learning算法概览
学以致用 知行合一
09-26 384
深度Q学习是一种强化学习算法，它使用深度神经网络来逼近Q函数，用于确定在给定状态下采取的最佳操作。Q函数表示在特定状态下采取特定行动并遵循特定策略的预期累积奖励。在 Q-Learning 中，Q 函数随着智能体与环境交互而迭代更新。深度 Q 学习可用于各种应用，例如游戏、机器人和自动驾驶汽车。 Cartpole 环境是最著名的经典强化学习问题之一（强化学习领域的“Hello, World!”）。一根杆子连接到一辆小车上，小车可以沿着无摩擦的轨道移动。杆子开始时是直立的，目标是通过控制小车来防止杆子翻倒。
深度强化学习 - QLearning
01-30
Introduction of Q-Learning Tips of Q-Learning Q-Learning for Continuous Actions
Deep Q-Learning（DQN）
JacobJiang的博客
07-06 4031
Playing Atari with Deep Reinforcement Learning 《Playing Atari with Deep Reinforcement Learning》 链接 使用强化学习直接从高维感官输入成功学习控制策略的深度学习模型。该模型是一个卷积神经网络，使用Q-learning的变体进行训练，输入为原始像素，输出为估计未来奖励的值函数。 早些时候，从视觉和语言等高维感官输入来控制主体的一些RL应用都依赖于与线性值函数或策略表示相结合的手动设计的特征。现在，在深度学习方面的进展
关于深度 Q 学习
FM_1793的博客
10-10 272
深度 Q 学习（Deep Q-Learning，DQL）是一种强化学习（Reinforcement Learning，RL）方法，它结合了深度神经网络和 Q 学习算法，用于解决决策问题和控制问题。它的参数是通过周期性更新来固定的，以减少估计 Q 值与目标 Q 值之间的相关性。：深度 Q 学习使用一个 Q 值网络（也称为 Q 网络）来估计状态-动作对的 Q 值。ε是一个小的正数，以一定的概率随机选择行动，以便在不同的状态下探索未知的情况，而不仅仅是依赖于已知的最佳策略。
深度强化学习5——Deep Q-Learning(DQN)
谢宜廷的博客
11-05 5845
之前大量叙述了强化学习的基本原理，至此才开始真正的深度强化学习的部分。2013和2015年DeepMind的Deep Q Network（DQN）它用一个深度网络代表价值函数，依据强化学习中的Q-Learning，为深度网络提供目标值，对网络不断更新直至收敛。用DQN从玩各种电子游戏开始，直到训练出阿尔法狗打败了人类围棋选手。本篇文章也主要围绕DeepMind的论文Playing Atari wi...
深度强化学习（深度Q学习
shuijinghua的博客
03-06 3179
2013年，在DeepMind 发表的著名论文Playing Atari with Deep Reinforcement Learning中，他们介绍了一种新算法，深度Q网络（DQN）。文章展示了AI agent如何在没有任何先验信息的情况下通过观察屏幕学习玩游戏。结果令人印象深刻。这篇文章开启了被我们成为“深度强化学习”的新时代。这种学习算法是混合了深度学习与强化学习的新算法。每进行一个动作，a...
Deep-Q-Learning-Cartpole:使用深度强化学习来稳定手推车上的倒立摆
05-02
使用深度强化学习来稳定推车上的倒立摆。 该项目使用OpenAI健身房的Cartpole-v1环境。 环境说明 杆通过未操作的接头连接到手推车，手推车沿着无摩擦的轨道移动。 该系统是通过向推车施加+1或-1的力来控制的。 钟摆...
强化学习：Q-learning与DQN（Deep Q Network）
Leon_winter的博客
06-05 8530
文章目录Q-learningDQNexperience replayfix Q type   Q-learning是一种很常用的强化学习方法，DQN则是Q-learning和神经网络的结合。 Q-learning   首先要设计状态空间s，动作空间a，以及reward。 一次transition就是（s，a，w，s_） 一次episode就是 DQN Q-learning如果状态很多，动作很多时，需要建立的q表也会十分的庞大，因此 神经网络就是用来算动作的q-value的 为了帮助收敛 experience
深度强化学习Deep Q-Network（DQN）玩CartPole游戏源码运行笔记
越野者的博客
03-18 1636
1. 运行环境介绍 NVIDIA GTX 1070 Ubuntu 16.04 x64 CUDA 8.0.61 cuDNN 5.1 Python 3.4 TensorFlow 1.2.0 Keras 2.2.4（Keras-2.2.4-py2.py3-none-any.whl） OpenCV 3.1.0 for Python3.4（opencv-3.1.0-np111py34_1.tar.bz2）...
deep-q-learning：Keras中的最小深度Q学习（DQN和DDQN）实现
02-05
深度学习 通过深度强化学习制作简单的游戏AI简介 Keras和Gym中最小和简单的深度Q学习实现。 不到100行代码！ 博客文章包含dqn.py代码的说明。 为了方便起见，我对该存储库进行了一些细微的调整，例如load和save功能。 我还使memory成为双端队列，而不只是列表。 这是为了限制内存中元素的最大数量。 训练对于dqn.py可能是不稳定的。 ddqn.py减轻了此问题。 我将在下一篇文章中介绍ddqn 。
Deep Q-Learning 简介：一起玩 Doom
热门推荐
xfxuezhang.cn
06-06 1万+
本文是使用 Tensorflow 的深度强化学习课程的一部分。 上一次，我们了解了 Q-Learning：一种生成 Q-table 的算法，代理使用它来找到在给定状态下采取的最佳动作。 但正如我们将看到的，在大状态空间环境中，生成和更新 Q 表可能变得无效。 本文是关于深度强化学习系列博文的第三部分。有关更多信息和更多资源，请查看课程大纲。 检查这里的教学大纲。 今天，我们将创建一个深度 Q 神经网络。我们将实现一个神经网络，而不是使用 Q 表，它采用一个状态并根据该状态为每个动作近似 Q 值。
深度Q学习——从入门到实践
qq_43653217的博客
09-01 5344
一.Q-learning q学习是强化学习中一种很经典的算法。 核心公式 Q（S，A）是当前状态下选择A的Q值。是学习率，这决定了Q值更新的快慢，一般我们都取1。是折扣因子，表示未来对现在的影响多少。 算法过程： Q-learning在训练的时候，ϵ−greedy策略被用来选择动作。机器随机生成一个数，如果这个数超过ϵ，那么就随机选择一个动作。反之，就选择当前Q值最大的动作，更新Q表。 得到Q表之后，当我们选择动作的时候，都是选择Q值最大的动作。 Q学习是一种长期决策，这一种长期而非.
深度Q学习神经网络（DQN）
qq_40004268的博客
06-08 2513
DeepMind技术的研究人员开发了一种称为Deep Q学习网络(DQN) 的方法，该方法受益于深度学习在学习最优策略的抽象表示方面的优势，即以最大化累积奖励总和的期望值的方式选择行动。它是前一个工作的延伸神经拟合Q学习(NFQ) 。DQN将深度卷积神经网络与最简单的强化学习方法(Q-learning)相结合。 相比于Q-Learning，DQN做的改进：一个是使用了卷积神经网络来逼近行为值函数，一个是使用了target Q network来更新target，还有一个是使用了经验回放Experience r
Deep QLearning算法详解（强化学习 Reinforcement Learning）
qq_41626059的博客
03-07 3680
首先要明白一个前提，这里介绍的是没有使用神经网络的qlearning，而不是Deep QLearning。而且算法不使用梯度下降，而是迭代更新。 一、算法详解 1.1 几个概念 1.1.1 什么是critic？ critic：批评家，评论家。 在这里算法要更新就是一个critic，而不是一个actor（agent），使用critic来间接指导actor做决策，critic的作用就是评估一个actor有多好，水平高不高。 1.1.2 状态价值函数Vπ(s)V ^{\pi }(s)Vπ(s)和状态动作价值函数Q
强化学习笔记(4)-深度Q学习
11-23 2524
记录一下在阅读《强化学习：原理与python实现》这本书的学习笔记。 在之前学习到的强度学习方法中，每次更新价值函数只更新某个状态动作对的价值估计。但是有些情况下状态动作对的数量非常大，不可能对所有的状态动作对逐一更新。函数近似方法用参数化的模型来近似整个状态价值函数，并在每次学习时更新整个函数，这样，对于没有被访问过的状态动作对的价值估计也能得到更新。 函数近似方法采用一个参数为w的函数q(s,a:w)来近似动作价值。 ...
【强化学习】深度强化学习：DQN（深度Q学习）、经验回放、固定Q目标迭代流程。
zhuhua造轮子的博客
01-03 7455
以下是深度强化学习：深度Q网络DQN的迭代流程、其中增加了经验回放、固定Q目标等处理技巧。 流程的关键点是： 1、该流程是一个横向展开流程，从左向右是时间轴上的逐步迭代。 2、流程中动作值函数的逼近方法使用的是神经网络模型（图中含NET的步骤，具体根据需要设计）。 3、除初始化环节，每个迭代循环分为两大步操作，以随机缓存区为分界，上部为采样环节（sample，提供新的数据），下部为学习环节...
【深度学习】最强算法之：深度Q网络（DQN）
商务合作 | 面试培训 | 职场规划 ==>主页扫码
04-08 4058
深度学习之不得不会算法：深度Q网络
深度Q网络(DQN)：将深度学习融入强化学习
最新发布
禅与计算机程序设计艺术
04-26 653
1. 背景介绍 1.1 强化学习概述 强化学习(Reinforcement Learning, RL)是一种机器学习方法，它关注的是智能体(agent)如何在环境中采取行动以最大化累积奖励。与监督学习不同，强化学习没有明确的标签告诉智能体每个状态下应该采取什么行动，而是通过与环境的交互来学习。智能体通过
深度学习入门笔记：从基础到DeepLearning模型
三、 Deeplearning与NeuralNetwork部分，强调了深度学习与神经网络的紧密联系，深度学习的核心就是构建深度神经网络，这些网络由多个层次组成，每一层都负责学习不同级别的特征。 四、训练过程包括了传统神经网络的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值