Deep Q-learning

最新推荐文章于 2021-06-06 10:40:45 发布
最新推荐文章于 2021-06-06 10:40:45 发布
阅读量245 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/petSym/article/details/103370836
版权

https://www.bilibili.com/video/av16921335?p=14

DQN

两种模型

在这里插入图片描述

  • 状态和动作作输入，得到动作的Q值
  • 状态作输入，所有动作的Q值作输出，选择Q值最大的对应的动作作为接下来要做的动作。
  • 作业是第二种

神经网络的更新

在这里插入图片描述
在这里插入图片描述

DQN强大的根本原因

  • DQN有记忆库用于学习之前的经历
  • Q-learning是一种off-poilcy的离线学习法，可以学习当前经历着的，也可以学习过去经历过的，甚至可以学习别人的经历。
  • DQN更新时，每次随机抽取一些之前的经历进行学习。随机抽取可以打乱经历之间的相关性，也使得神经网络更新更有效率。
  • Fixed Q-targets是一种打乱相关性的机理。
    在这里插入图片描述
  • 使用fixed Q-target，我们在DQN中使用两个结构相同但是参数不同的神经网络，预测Q估计得网络有最新的参数，预测Q现实的参数是很久以前的。
petSym
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Deep Q-Learning（DQN）
JacobJiang的博客
07-06 4018
Playing Atari with Deep Reinforcement Learning 《Playing Atari with Deep Reinforcement Learning》 链接 使用强化学习直接从高维感官输入成功学习控制策略的深度学习模型。该模型是一个卷积神经网络，使用Q-learning的变体进行训练，输入为原始像素，输出为估计未来奖励的值函数。 早些时候，从视觉和语言等高维感官输入来控制主体的一些RL应用都依赖于与线性值函数或策略表示相结合的手动设计的特征。现在，在深度学习方面的进展
Deep Q-learning学习笔记
csyifanZhang的博客
02-25 726
推自己的github，边学边写，有RL,DL的一些小实验，训练机器走迷宫之类的小游戏，有兴趣可以玩玩 传送门 Q-learning作为典型的value-based algorithm，训练出来的是critic（并不直接采取行为，评价现在的行为有多好），因此提出了state value function的概念，方便对每个状态进行评估 Policy-based是不断的增加reward高的行为发生的概率...
Deep Q-Learning 简介：一起玩 Doom
xfxuezhang.cn
06-06 1万+
本文是使用 Tensorflow 的深度强化学习课程的一部分。 上一次，我们了解了 Q-Learning：一种生成 Q-table 的算法，代理使用它来找到在给定状态下采取的最佳动作。 但正如我们将看到的，在大状态空间环境中，生成和更新 Q 表可能变得无效。 本文是关于深度强化学习系列博文的第三部分。有关更多信息和更多资源，请查看课程大纲。 检查这里的教学大纲。 今天，我们将创建一个深度 Q 神经网络。我们将实现一个神经网络，而不是使用 Q 表，它采用一个状态并根据该状态为每个动作近似 Q 值。
深度强化学习5——Deep Q-Learning(DQN)
谢宜廷的博客
11-05 5813
之前大量叙述了强化学习的基本原理，至此才开始真正的深度强化学习的部分。2013和2015年DeepMind的Deep Q Network（DQN）它用一个深度网络代表价值函数，依据强化学习中的Q-Learning，为深度网络提供目标值，对网络不断更新直至收敛。用DQN从玩各种电子游戏开始，直到训练出阿尔法狗打败了人类围棋选手。本篇文章也主要围绕DeepMind的论文Playing Atari wi...
【Pytorch教程】：DQN 强化学习
nanke_4869的博客
02-01 1892
Pytorch教程目录 Torch and Numpy 变量 (Variable) 激励函数 关系拟合（回归） 区分类型 (分类) 快速搭建法 批训练 加速神经网络训练 Optimizer优化器 卷积神经网络 CNN 卷积神经网络（RNN、LSTM） RNN 循环神经网络 (分类) RNN 循环神经网络 (回归) 自编码 (Autoencoder) DQN 强化学习 目录Pytorch教程目录什么是 DQN强化学习与神经网络神经网络的作用更新神经网络DQN 两大利器DQN 强化学习模块导入和参数设置神经网
Deep-Q-Learning-Deep-SARSA-LunarLander-v2:将深度强化学习算法Deep SARSA和Deep Q-Learning应用于OpenAI Gym的LunarLander-v2
03-19
深度SARSA和深度Q学习-LunarLander-v2 环境 在这个项目中，我试图从OpenAI体育馆解决Lunar Lander环境。这是一个二维环境，其目的是教导登月舱模块安全地着陆在固定在点（0,0）的着陆垫上。该代理具有3个推进器：一...
Deep-Q-Learning：在pytorch中使用Double Deep Q-Learning教AI使其安全降落飞船
02-14
在这个项目中，我们将关注一个具体的应用场景——“Deep-Q-Learning：在PyTorch中使用Double Deep Q-Learning教AI使其安全降落飞船”。这个任务涉及到了几个关键的技术点，包括Q-Learning、Deep Q-Networks (DQN)...
Continuous Deep Q-Learning with Model-based Acceleration
03-02
深度Q-Learning与model-based方法结合来解决连续动作问题 Model-free reinforcement learning has been successfully applied to a range of challenging problems, and has recently been extended to handle ...
2048 playing agent using deep Q-learning in Matlab..zip
最新发布
07-16
标题 "2048 playing agent using deep Q-learning in Matlab" 提到的是一个使用深度Q学习算法在Matlab环境中实现的2048游戏智能玩家。2048是一款数字拼图游戏，玩家需要通过上、下、左、右滑动屏幕来合并数字，目标...
Q-learning_Q-learning_Q-Learningpython_DEMO_
10-01
Q-learning不仅适用于离散动作空间的问题，也可以通过近似方法扩展到连续动作空间，例如使用神经网络作为Q函数的近似器，这就是著名的Deep Q-Network (DQN)。 总之，Q-learning是一种强大的强化学习算法，通过学习Q...
强化学习-DQN
深海沧澜的博客
12-01 853
1.DQN的2个创新点 经验回放（Experience）：样本关联性 1）序列决策的样本关联 2）样本利用率低 固定Q目标： 非平稳性 1）算法非平稳 2.经验回放：利用off-policy的优势 战斗过程是一个经验池（固定长度的队列），这样的一条经验是士兵和环境交互得到的： 当超过经验池的容量后，弹出一条旧的经验，腾出新的空间。军师为了打乱经验池，随机从经验池中抽取 数据更新表格。 好处：1）打乱样本关联性 2）提高样本利用率 相关代码： 3.固定Q目标 监督学习：输入x，目的
强化学习&基于值6.3 | 固定目标值 Fixed Q-Targets
ASKCOS博客
03-17 742
经验回放可以帮我们解决一种类型的联系，即元组之间的连续经验。Q-Learning还会受到另一种联系的影响。R+gamma乘以下个状态的最大潜在值称为TD目标，我们目标是缩小和当前预测值Q值之间的差异。 这里的TD目标应该取代的是未知的真值函数qπ(S,A)，它并不依赖于我们的函数逼近器或者其它参数，但是TD目标依赖这些参数w，意味着用真值函数qπ(S,A)替换在数学上是不成立的。当我们使用函数逼近时会显著影响学习效果，因为所有Q值都通过函数参数固有地联系在一起。 所以我们需要更改参数之间的联系 将用于生
(强化学习（二）--DQN算法
qq_37333048的博客
03-29 3270
强化学习（二）--DQN算法1. DQN算法1.1 Experience replay (经验回放)1.2 Fixed Q target (固定Q目标)1.3 神经网络的LOSS函数2. DQN的代码实现2.1 代码的整体框架2.2 主函数2.3 神经网络的构建(Net类的实现)2.4 DQN类的实现2.4.1 choose_action 和 predict函数2.4.2 store_transition函数2.4.3 learn函数2.5 测试函数(test_episode函数的实现)3. DQN算法效果
强化学习（3）：Deep Q Network（DQN）算法
zuzhiang的博客
11-21 2571
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来，欢迎大家关注我的 个人博客，以及我的github。 本文主要讲解有关 Deep Q Network（DQN）算法的相关内容。 1. DQN 的基本思想 传统的 Q-Learning 算法当 Q 表过大时不仅难以存储而且难以搜索，并且当状态是连续的话，用 Q 表存储是不现实的，这时可以用一个函数来拟合 Q 表，所以提出了神经网络和 Q-...
{机器学习}【Reinforcement Learning】
菜就得多学
08-16 392
常识性知识： RL学习的转移过程图示（机器就是agent）   agent 选择一个action输入到environment中，envirment会反馈（输出）一个reward和转移到的state，agent再根据这些信息选择新的action 基本框架 agent 根据 environment 选择 action，通过这个action 改变 environment，根据environm...
2020-08-31
嘻嘻嘻嘻的博客
10-13 557
强化学习（一） 最近接触到了强化学习领域的东西，于是就对近来解决强化学习问题的不同结构进行了了解，主要包括Q-learning，Deep Q-learning，Policy Gradients，AC模型，和PPO。 不过在深入了解强化学习之前，我们需要掌握一些必要的概念。 1.什么是强化学习？强化学习的核心思想是什么？ 2.强化学习的三种方式 3.在强化学习中深度是怎样理解的？ ...
Deep Reinforcement Learning 基础知识（DQN方面）
热门推荐
Flood Sung的专栏
01-25 9万+
## Introduction 深度增强学习Deep Reinforcement Learning是将深度学习与增强学习结合起来从而实现从Perception感知到Action动作的端对端学习的一种全新的算法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有hand-crafted工作。深度增强学习具备使机器人实现完全自主的学习一种甚至多种技能的潜力。
DQN(Deep Q-Learning)
无人机飞啊飞啊飞
08-07 1794
文章目录DQN DQN q-learning存在一个问题，真实情况的state可能无穷多，这样q-table就会无限大，解决这个问题的办法是通过神经网络实现q-table。输入state，输出不同action的q-value。 q-leaning的执行过程:输出state,根据Q-Table输出不同action的q-value,根据探索利用策略,获取当前状态下采取的动作a. DQN的执行过...
Paper Reading 2:Human-level control through deep reinforcement learning
Flood Sung的专栏
03-17 7884
来源：Nature 2015作者：Deepmind理解基础： 深度学习基础 增强学习基础 创新点：构建一个全新的Agent，基于Deep Q-network,能够直接从高维的原始输入数据中通过End-to-End的增强学习训练来学习策略成果：将算法应用到Atari 2600 游戏中，其中49个游戏水平超过人类。第一个连接了高维的感知输入到动作，能够通用地学习多种不同的task详细分析研究目标Gene
deep q-learning对比q-learning优化了哪些地方
04-01
Deep Q-learning相比于传统的Q-learning算法进行了以下优化： 1. 非线性函数逼近：Deep Q-learning使用神经网络对Q函数进行逼近，可以处理高维状态空间和动作空间，相比传统的Q-learning算法的线性函数逼近更加准确和灵活。 2. 经验回放：Deep Q-learning使用经验回放缓解了数据样本的相关性，提高了样本的利用效率。 3. 目标网络：Deep Q-learning使用目标网络来稳定学习，减小了误差的影响，提高了算法的收敛速度和学习效率。 4. 双重Q学习：Deep Q-learning使用双重Q学习方法，避免了传统Q-learning中过高的估计值，提高了算法的稳定性和效率。 综上所述，Deep Q-learning在非线性函数逼近、经验回放、目标网络和双重Q学习等方面进行了优化，相比传统的Q-learning算法在处理高维状态空间和动作空间上更加准确和灵活，并且提高了算法的稳定性和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值