根据视频学习DQN(Deep Q-learning)

最新推荐文章于 2024-06-10 00:35:53 发布
最新推荐文章于 2024-06-10 00:35:53 发布
阅读量355 收藏
点赞数
文章标签： 学习 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42929804/article/details/129585086
版权

学习网址：https://www.bilibili.com/video/BV1We4y1w7Us?p=3&vd_source=11b7b2a48a6540147996012cfff314e8

第一节P1：深度强化学习中用到的基本概念
P2:关于DQN的输入及输出，以及详细的讲了其更新Q的原理及过程。
P3:策略函数π【是一个概率密度函数，所有结果值加和为1】

策略函数与Q都是深度强化学习对未来预测的途径，知道其一即可解决问题。不同点在于，Q*是只与当前S与A有关的，它针对某一时刻的S，对该时刻可以进行的动作A打分，机器选择得分高的动作以继续游戏。而策略函数是对该时刻S可进行的动作A计算出概率，然后机器进行一次随机抽样以继续进行游戏。

P4:更新过程如下，用TD更新w，以此来改进Qπ（价值网络）。用w来更新θ，以此来改进π（策略网络）。
在这里插入图片描述
P5:强化学习有奖励，而模仿学习(如limitation learning)没有奖励，其训练的目的是模仿行为。
Behavior cloning 是一种limitation learning，是一种分类或回归方法，而不是强化学习方法
P6:蒙特卡洛算法-一种近似求解的算法
P7:Sarsa算法-TD算法的一种
P8:Q-learning -也是一种TD算法，Sarsa是用来训练Qπ
Q-learning 是用来训练Q*

加油加油的加油机
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Deep-Q-Learning：在pytorch中使用Double Deep Q-Learning教AI使其安全降落飞船
02-14
月球兰德 使用pytorch中的Double Deep Q-Learning教AI安全着陆飞船。
deep-q-learning：Keras中的最小深度Q学习（DQN和DDQN）实现
02-05
深度学习通过深度强化学习制作简单的游戏AI简介 Keras和Gym中最小和简单的深度Q学习实现。 不到100行代码！ 博客文章包含dqn.py代码的说明。 为了方便起见，我对该存储库进行了一些细微的调整，例如load和save功能。...
Deep Q-Learning 简介：一起玩 Doom
xfxuezhang.cn
06-06 1万+
本文是使用 Tensorflow 的深度强化学习课程的一部分。 上一次，我们了解了 Q-Learning：一种生成 Q-table 的算法，代理使用它来找到在给定状态下采取的最佳动作。 但正如我们将看到的，在大状态空间环境中，生成和更新 Q 表可能变得无效。 本文是关于深度强化学习系列博文的第三部分。有关更多信息和更多资源，请查看课程大纲。 检查这里的教学大纲。 今天，我们将创建一个深度 Q 神经网络。我们将实现一个神经网络，而不是使用 Q 表，它采用一个状态并根据该状态为每个动作近似 Q 值。
6.DQN(Deep Q-Network)+Double DQN+Dueling DQN
qq_39160779的博客
07-15 1798
目录 深度强化学习目录 简介 DQN(Deep Q-Network)，顾名思义，就是将Q-learning与深度学习相结合。具体点讲，就是把Q-learning中估算Q值函数的模型应用为神经网络，一般我们用的是三层CNN结构。 DQN在实际操作中会遇到一个问题，就是过度高估（over-estimate）Q值函数。于是我们使用Double DQN来缓解这个问题。 Double DQN 什么叫过度高估Q值函数？举个例子，我们用DQN玩游戏，在状态s的时候训练得到的Q值是100，而实际玩了一盘下来发现远不到100
一文读懂Q-Learning，DQN，DDPG的连接关系
苑小量的博客
03-24 3995
最近几个月一直在看强化学习，把强化学习导论（Reinforcement Learning：An Introduction）跟着b站视频看了一遍，发现书上的大部分是理论，实践代码并不多，所以可以看看知乎David Silver强化学习公开课中文讲解及实践，看完之后呢就会发现，强化学习在沿着解决连续动作和深度卷积神经网络逼近值函数来解决问题。下面先写出目前所学到的知识，后期会继续更新。 1.Q-Learning Q-Learning是强化学习算法中极其重要的算法，Q即为Q（s,a）就是在某一时刻的 s 状态下，
深度学习与计算机视觉教程(17) | 深度强化学习 (马尔可夫决策过程,Q-Learning,DQN)（CV通关指南·完结）
热门推荐
ShowMeAI研究中心
06-16 3万+
本文讲解了强化学习的主要挑战、数学定义及实际应用（制定长期决策、估计或者近似未来奖励、状态过多时估计或者近似未来奖励、从数据中学习模型使其真正工作等）【对应 CS231n Lecture 14】
深度强化学习 # Deep-Q-Network
skysys的研究小屋
11-25 1331
前置教程: Q-learning； DQN基础 传统表格学习的强化学习算法有瓶颈（比如下围棋，状态空间太大，无法存下，相当于把存储空间压缩在网络里了），融合神经网络+Q-Learning的算法。 表格存储空间不够，搜索复杂度过高，用NN来得到Q value 用NN的两种情形：（1）输出状态值，NN输出Q值（2）输出状态值，NN输出all Q值，然后取max(Q)；后面使用第（2）种NN来进行分析。 如何Train NN？ 需要 a1, a2 正确的Q值, 这个 Q 值我们就用之前在 Q learni
【强化学习】Deep Q Network深度Q网络（DQN）
谁最温柔最有派
04-24 6065
1 DQN简介 1.1 强化学习与神经网络 该强化学习方法是这么一种融合了神经网络和Q-Learning的方法，名字叫做Deep Q Network。 Q-Learning使用表格来存储每一个状态state，和在这个state每个行为action所拥有的Q值。而当今问题实在是太复杂，状态可以多到比天上的星星还多（比如下围棋）。如果全用表格来存储它们，恐怕我们的计算机有再大的内存都不够，而且每次在这么大的表格中搜索对应的状态也是一件很耗时的事。不过在机器学习中，有一种方法对这种事情很在行，那就是神经网络。我们
【机器学习】强化学习（六）-DQN(Deep Q-Learning)训练月球着陆器示例
cxyhjl的博客
01-23 1219
概述Deep Q-Learning（深度 Q 学习）是一种强化学习算法，用于解决决策问题，其中代理（agent）通过学习在不同环境中采取行动来最大化累积奖励。Lunar Lander 是一个经典的强化学习问题，其中代理的任务是控制一个着陆舱在月球表面着陆，最小化着陆过程中的燃料消耗。以下是使用 Deep Q-Learning 解决 Lunar Lander 问题的基本步骤：环境建模： 首先，需要对...
深度学习（四十）——深度强化学习（3）Deep Q-learning Network（2）, DQN进化史
antkillerfarm的专栏
02-24 1924
Deep Q-learning Network（续） Nature DQN DQN最早发表于NIPS 2013，该版本的DQN，也被称为NIPS DQN。NIPS DQN除了提出DQN的基本概念之外，还使用了《机器学习（三十三）》中提到的Experience Replay技术。 2015年初，Deepmind在Nature上提出了改进版本，是为Nature DQN。它改进了Loss函数： L=(r...
【RL 第4章】Deep Q-Learning（DQN）
qq_51542439的博客
01-13 226
【RL 第4章】Deep Q-Learning（DQN）
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip
12-15
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip 基于Pytorch实现深度强化...
强化学习（八）-深度Q学习（DeepQ-learning-DQL-DQN）原理及相关实例 深度学习原理.pdf
04-13
"强化学习（八）-深度Q学习（DeepQ-learning-DQL-DQN）原理及相关实例 深度学习原理.pdf" 在强化学习领域中，DeepQ学习（DQL）是一种深度强化学习算法，通过结合深度学习和强化学习，实现智能体在复杂环境下的学习...
深度强化学习+DQN+Pytorch+CartPole-v0
07-14
DQN算法的大体框架是传统强化学习中的Q-Learning，只不过是Q-learning的深度学习版本。DQN的改进主要有三个： 1. DQN的行为值函数利用神经网络逼近； 2. DQN维护一个回放缓冲区，将每次从环境中采样得到的四元组数据...
(delphi11最新学习资料) Object Pascal 学习笔记---第14章泛型第2节（标准类的泛型方法）
langfengyl的专栏
06-07 308
​ 使用泛型类型定义类可能是最常见的情况，但泛型类型也可以用于非泛型类。换句话说，一个普通的类也可以有一个泛型方法。在这种情况下，不仅要在创建类的实例时为泛型占位符指定类型，还要在调用方法时指定类型。：当我第一次编写这段代码时，可能是因为我想起了我的C++时代，我将参数写成了（t：T）。​ 所有上述调用都是正确的，因为这些调用中的参数类型可以是隐式的。如果使用类型和参数调用该方法，则参数的类型必须与泛型类型声明匹配。​ 如果在尖括号之间不指示类型调用该方法，则实际类型将从参数的类型中。
如何学习Golang语言!
FengyangCoder的博客
06-09 377
起源与设计哲学：Go语言由Robert Griesemer、Rob Pike和Ken Thompson三位Google工程师设计，旨在解决现代编程中的一些常见问题，如编译速度、运行效率和并发编程。主要特点：Go语言的语法简单、编译速度快、运行效率高，支持静态类型和内存安全，具有垃圾回收功能，并且原生支持并发编程。
扩展学习|风险管理的文献综述汇总（持续更新向）
最新发布
weixin_63253486的博客
06-10 770
本片博客主要介绍风险管理领域本人所看到的一些有意思的文章，并就风险管理领域的相关内容进行一个分享。
[ue5]建模场景学习笔记（5）——必修内容可交互的地形，交互沙（3）
qq_40128113的博客
06-09 277
5.第一想法直接clear掉，但直接clear会把想要保留的痕迹一并去除，跑起来就没有痕迹！所以不行，要做一个转载，先把痕迹保留在一个载体上，清楚原来痕迹，用sandsave表示，再把这个载体的痕迹保存回原来rt，这样之前的痕迹被清空了，只留下了保存在载体上的部分，正好符合我们想要的部分。我们现在已经能够让这片地形出现在任意地方，只要角色走在这片地形上，就能够产生痕迹，但这片区域总是需要人工指定，又无法把这片区域无限扩大（显存爆炸），因此尝试使角色无论走到哪里都能产生痕迹。否则绘制不到画板上。
q-learning和dqn同一地图输出
04-30
Q-learning和DQN都是用于强化学习中的方法，可以在同一地图上输出结果。在强化学习中，我们通常需要将智能体置于一个环境中，在此环境的基础上，智能体需要采取一系列的行动来达到其既定目标。在这个过程中，智能体...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值