深度强化学习二 || 价值学习 DQN 相关概念

已于 2022-03-20 19:01:38 修改
阅读量2.3k 收藏 1
点赞数
文章标签： 强化学习
于 2022-02-13 12:29:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56039091/article/details/122907435
版权

深度强化学习二 || 价值学习 DQN 相关概念

用神经网络 Q(s,a;w) 来近似Q*(s,a) 函数，因为Q*函数并不存在

Q(s,a;w) : 参数为w，输入为s，输出为对所有动作a的评分，每个动作对应一个分数

image-20220213113539098

image-20220213113828288

TD算法训练DQN

image-20220213114629632

假设从NYC->Atlanta 模型预先估计 1000mins，我在路上到达 DC 时，车坏了，历时了300mins，此时模型估计从DC->Atlanta需要600mins，也就是说新的估计从NYC->Atlanta需要900mins，我就把900mins当做实际值，它要比纯的1000mins靠谱，因为900mins里面有300mins是实际观测到的，于是可以做更新。其中TD error = 1000-900 = 100

image-20220213115000532

TD error为0 就意味着估计值与实际值一致

用TD算法 意味着，不需要打完游戏，也可以更新参数

image-20220213115735681

image-20220213120108325

image-20220213120729203

image-20220213120749169

最后得到下述公式

image-20220213121008704

等式左边是在t时刻对游戏所有收益的期望，右边是 当前已经得到rt的回报，并对下一个时刻对游戏所有收益的期望乘以折扣

注Q(st,at;w) 其中at是已经做出的动作，它的评分最高

image-20220213121706253

整体过程如下

image-20220213122454222

Anthony_CH
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
深度强化学习 DQN系列论文
01-31
深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一个重要分支，它结合了深度学习的表征...通过阅读和理解这些论文，我们可以更好地掌握深度强化学习的核心概念和技术，推动这一领域的创新和发展。
第7课 强化学习中的深度Q网络(DQN)
10-17
强化学习中的深度Q网络（DQN） 深度Q网络（DQN）是一种基于深度学习的强化学习算法，主要用于解决强化学习问题。DQN算法通过神经网络拟合Q函数，来学习状态-动作值函数，从而选择最优的动作。 DQN的原理可以分为两...
深度强化学习基础：价值学习
Catherine_he_ye的博客
08-04 746
强化学习基础：价值学习 王树森深度强化学习基础：价值学习 No.1 Deep Q-Network (DQN) DQN 是一个价值学习的方法，用一个神经网络去近似Q*函数。 DQN 的输入是s，w为神经网络的参数，输出是对每一个动作a的打分。 怎么训练DQN呢？ 最常用的是TD算法。 No.2 Temporal Difference (TD) Learning TD算法即使不完成旅程，也能更新参数。 No.3 TD Learning for DQN No.4 Summary ...
DQN理解
qq_39861441的博客
05-18 343
参考了 这位莫烦大佬：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/4-4-gym/
强化学习：（二）价值学习
百把人的博客
07-25 407
介绍了价值学习用TD算法训练DQN的过程
DQN(基本概念和进阶技巧）
qq_44898314的博客
07-24 3206
与神经网络技术，并采用了目标网络和经历回放的方法进行网络的训练。在Q-learning中，使用表格来存储每个状态s下采取动作a获得的奖励，即状态-动作值函数Q（s,a）。，但是在较为复杂的任务上，会使用卷积神经网络来拟合从图像来拟合从图像到价值函数的映射。DQN只能处理有限动作值，通常用于处理离散动作空间的任务。其中，s,a分别是状态s和动作a的向量表示；DQN算法的核心是维护Q函数并使用进行决策。的函数，如神经网络，输出一个实数，称为。下的动作价值函数，每次到达一个状态。之后，遍历整个动作空间，使用让。.
强化学习笔记：noisy DQN
qq_40206371的博客
05-27 2996
噪声网络 (Noisy Net)是一种非常简单的方法，可以显著提高 DQN 的表现。 噪声网络的应用不局限于 DQN，它可以用于几乎所有的强化学习方法。 1 噪声网络的原理 把神经网络中的参数 w 替换成 µ+σ◦ξ。 此处的 µ、σ、ξ 的形状与 w 完全相同。 µ、σ 分别表示均值和标准差，它们是神经网络的参数，需要从经验中学习。 ξ 是随机噪声，它的每个元素独立从标准正态分布 N (0, 1) 中随机抽取。 符号“◦”表示逐项乘积。 2 noisy...
深度强化学习基础知识 思维导图
05-15
强化学习基本概念 基本方法（Value-Based、Policy-Based、Actor-Critic） 策略学习（Reinforce with baseline、A2C） 价值学习（Sarsa、Q-Learning（DQN）） 连续动作控制（DPG、DDPG） 包含上述各种基本算法的原理...
深度强化学习.rar
10-04
这个压缩包“深度强化学习.rar”包含了两部分关键资源：RLPPT（可能是课程的PowerPoint演示文稿）和RLPDF（可能是相关的阅读材料或讲义）。 RLPPT可能涵盖了以下深度强化学习的基础概念和理论： 1. **强化学习基础*...
深度强化学习DQN（DeepQNetwork）原理及例子：如何解决迷宫问题，附源码 深度学习原理.pdf
04-13
"深度强化学习DQN（DeepQNetwork）原理及例子：如何解决迷宫问题，附源码 深度学习原理" 深度强化学习DQN（DeepQNetwork）是深度学习和强化学习的结合，通过使用神经网络来近似Q函数，从而解决强化学习中的问题。在...
【深度学习】强化学习之DQN、Double DQN、dueling DQN原理
zkq_1986的博客
05-15 6155
DQN，deep Q-network，用一个深度网络来拟合强化学习中的Q值Double DQN，分为主网络和target网络，主网络选择动作，target网络拟合Q值。主网络的变化浮动大，target网络变化浮动小。q_target = reward + gamma * np.max(q_next)dueling DQN，用一个深度网络来拟合强化学习中的Q值，只不过在网络最后部分，分为状态V值和动...
强化学习(一)：简单的DQN理解
suai9292的博客
04-10 7444
强化学习（reinforcement learning）是一种介于监督学习和非监督学习之间的特殊任务。它并非像监督学习一样对于每一个数据都有着明确的标记信息，也不像无监督学习那样全无标记信息。强化学习有着相对稀疏的反馈标注，即奖励（Reward）。进行学习过程的代理Agent就从这些奖励中，明白自己行为的对错程度，学习如何与环境Environment互动。在目前深度学习领域长足进步的当下，将深度学...
强化学习 CNN几个重要的基本概念与DQN
Hikers、Wan的博客
04-22 3593
前言 最近在读一篇强化学习的论文以及代码，学到了很多新东西，特此记录下来。 CNN基本知识 Convolution：卷积 卷积核大小（filter size）为m * m卷积核（convolution kernel/convolution filter）一次移动一个卷积步长（convolution stride），在n * n图像上从左至右自上而下依次将卷积操作进行下去，最终输出大小（n-m+1）...
DQN简介
热门推荐
yf_programmer的博客
10-09 2万+
DQN可以视为Q-learning的进阶版，DQN与Q-learning十分相似，DQN解决了Q-learning解决不了的问题。 DQN解决的问题 Q-learning的核心在于Q表格，通过建立Q表格来为行动提供指引，但这适用于状态和动作空间是离散且维数不高时，当状态和动作空间是高维连续时Q表格将变得十分巨大，对于维护Q表格和查找都是不现实的。设想一下如果AlphaGo使用Q-learning将会是什么样的场景，围棋的可能性量级为10^170，如此巨大的Q表格已经丧失了的它的价值。 Q表格无法解决，人们开
DQN起源，原理，核心理解
Charel_CHEN的博客
08-19 8292
DQN，在深度学习领域算是比较老的东西了，网上有很多关于DQN的论文解读或者原理解读！这篇博客仅为笔者自己学习记录。。。 好了，废话不多说，接下来介绍DQN到底是怎么一回事？DQN全名Deep Q-Network, 它是一种利用深度网络对Q值预测的一种方法，在传统的增强学习中，常用线性变换或者查表法来，对Q进行预测（http://fromwiz.com/share/s/1CGZRH2S1A
强化学习 DQN算法
weixin_45193103的博客
06-01 2669
强化学习算法可以分为三大类：（1）value based,（2） policy based 和 （3）actor critic。常见的是以DQN为代表的value based算法，这种算法中只有一个值函数网络，没有policy网络，以及以DDPG,TRPO为代表的actor-critic算法，这种算法中既有值函数网络，又有policy网络。说到DQN中有值函数网络，这里简单介绍一下强化学习中的一个概念，叫值函数近似。在基本概念这篇中有讲过，一个state action pair (s,a)对应一个值函数Q(
强化学习：DQN的理解
BBJG_001的博客
03-16 2779
原文地址 分类目录——强化学习 还是根据Q(s, a)值来进行动作判断的一种机制 传统的Q-Learning强化学习会生成一个状态动作的组合表，通过一轮轮的迭代使这个表格收敛。 **问题：**现实中的活动往往状态空间很大，比如下围棋，理论上Q表的矩阵要达到（19**2）*（19**2）的规模，存储这么一个表格是一个问题，学习并让这个表格收敛更是一个大问题。 ——如果能有一个公式能通过输入当前的状...
基于Pytorch的强化学习(DQN)之基础概念
ZDDWLIG的博客
03-19 1120
目录 1. 数学知识 1.1 随机变量与观测值 1.2 概率密度函数 1.3 期望 2. 专业术语 2.1 agent 2.2 action 2.3 state 2.4 policy 2.5 reward 2.6 state transition 2.7 trajectory 2.8 return 2.9 value function 2.9.1 动作价值函数 2.9.2 状态价值函数 3.OpenAI Gym 讲完了神经网络的一些基本知识，我们现在来学习强化学习(D
某大型集团管控制度流程.docx
最新发布
08-17
某大型集团管控制度流程.docx
深度强化学习：探索与应用
这本书首先会介绍深度强化学习的基础概念，包括Q-learning、SARSA等经典强化学习算法，以及如何利用深度神经网络来处理高维度状态空间的问题。深度学习在这里的作用是为复杂的输入数据提供有效的表示，使得智能体...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值