强化学习&基于值6.3 | 固定目标值 Fixed Q-Targets

最新推荐文章于 2023-04-02 20:52:05 发布
最新推荐文章于 2023-04-02 20:52:05 发布
阅读量739 收藏
点赞数
分类专栏： 游戏AI 文章标签： 强化学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43236007/article/details/114954282
版权

经验回放可以帮我们解决一种类型的联系，即元组之间的连续经验。Q-Learning还会受到另一种联系的影响。R+gamma乘以下个状态的最大潜在值称为TD目标，我们目标是缩小和当前预测值Q值之间的差异。

这里的TD目标应该取代的是未知的真值函数qπ(S,A)，它并不依赖于我们的函数逼近器或者其它参数，但是TD目标依赖这些参数w，意味着用真值函数qπ(S,A)替换在数学上是不成立的。当我们使用函数逼近时会显著影响学习效果，因为所有Q值都通过函数参数固有地联系在一起。
在这里插入图片描述
所以我们需要更改参数之间的联系
在这里插入图片描述
将用于生成目标的参数固定起来，用w-固定参数，学习过程中不更改w。在实践中将w替换为w-用它来生成目标和更改w并持续一定数量的学习步骤，然后使用最新的w更新w-，再次学习一定数量的步骤，这样使得目标和参数拆分开来，使学习算法更稳定，并且不太可能会发散或震荡。
在这里插入图片描述
DQN中固定参数的那个网络就是Target Netwrok，梯度下降的时候只调整左边神经网络的参数，更新了一定次数以后才把参数复制到Target Netwrok
在这里插入图片描述

ASKCOS
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Pytorch教程】：DQN 强化学习
nanke_4869的博客
02-01 1884
Pytorch教程目录 Torch and Numpy 变量 (Variable) 激励函数 关系拟合（回归） 区分类型 (分类) 快速搭建法 批训练 加速神经网络训练 Optimizer优化器 卷积神经网络 CNN 卷积神经网络（RNN、LSTM） RNN 循环神经网络 (分类) RNN 循环神经网络 (回归) 自编码 (Autoencoder) DQN 强化学习 目录Pytorch教程目录什么是 DQN强化学习与神经网络神经网络的作用更新神经网络DQN 两大利器DQN 强化学习模块导入和参数设置神经网
强化学习-DQN
深海沧澜的博客
12-01 847
1.DQN的2个创新点 经验回放（Experience）：样本关联性 1）序列决策的样本关联 2）样本利用率低 固定Q目标： 非平稳性 1）算法非平稳 2.经验回放：利用off-policy的优势 战斗过程是一个经验池（固定长度的队列），这样的一条经验是士兵和环境交互得到的： 当超过经验池的容量后，弹出一条旧的经验，腾出新的空间。军师为了打乱经验池，随机从经验池中抽取 数据更新表格。 好处：1）打乱样本关联性 2）提高样本利用率 相关代码： 3.固定Q目标 监督学习：输入x，目的
白话强化学习笔记
最新发布
a264672的博客
04-02 298
白话强化学习笔记
DQL: Dueling Double DQN, Prioritized Experience Replay, and fixed Q-targets（三下）
mike112223的博客
06-17 2691
https://www.freecodecamp.org/news/improvements-in-deep-q-learning-dueling-double-dqn-prioritized-experience-replay-and-fixed-58b130cc5682/ DQL是2014年提出的。自那以后提出了很多改进。所以，今天我们来看看四种极大提升DQN agents的训练和结果： f...
(强化学习（二）--DQN算法
qq_37333048的博客
03-29 3254
强化学习（二）--DQN算法1. DQN算法1.1 Experience replay (经验回放)1.2 Fixed Q target (固定Q目标)1.3 神经网络的LOSS函数2. DQN的代码实现2.1 代码的整体框架2.2 主函数2.3 神经网络的构建(Net类的实现)2.4 DQN类的实现2.4.1 choose_action 和 predict函数2.4.2 store_transition函数2.4.3 learn函数2.5 测试函数(test_episode函数的实现)3. DQN算法效果
基于深度强化学习Qlearning的机器人行走控制-源码
10-01
2. **深度Q网络（DQN）**：了解DQN如何用神经网络替代Q-table，处理高维状态空间，并通过经验回放缓冲区、目标网络和固定Q-targets等技术来稳定训练过程。 3. **机器人行走模型**：分析用于行走控制的机器人模型，...
targets-design:目标R封装设计规范
04-30
目标R封装设计规范 该存储库包含 R包的设计规范。 这些规范描述了内部体系结构，数据存储模型以及业务流程和分支模型。 目的是帮助开发人员为软件包的核心元素做出贡献。 呈现的输出位于 。 行为守则 请注意，此...
targets-minimal:具有目标R包的最小示例数据分析项目
03-07
targets包最小示例 该存储库是带有的示例数据分析工作流。 管道从文件中读取数据，对其进行预处理，可视化并拟合回归模型。如何进入只要您具有浏览器和互联网连接，就可以尝试该示例项目。 将浏览器导航到RStudio ...
simple-targets-csx:for C＃脚本的极简目标运行器
05-08
建议将目标从simple-targets-csx迁移到Bullseye。简单目标 极简的C＃脚本库，用于编写用于构建，分析，测试，打包，部署等目标，并使用支持“标准” C＃脚本方言（由定义）的任何运行器运行它们。 绝不限于编写与...
Python库 | aws-cdk.aws-events-targets-1.21.0.tar.gz
03-01
标题中的“aws-cdk.aws-events-targets-1.21.0.tar.gz”指的是一个针对AWS Cloud Development Kit（CDK）的Python库，版本为1.21.0，且已压缩成tar.gz格式的文件。这个库是AWS CDK的一部分，主要用来定义AWS事件规则...
DRL代码学习打卡-5
你通透就好 别问我是谁
03-14 385
DRL代码学习打卡-4 1. 什么是 DQN Q table 异常复杂（state 过多） 存储问题 搜索问题 使用表格来存储每一个状态 state, 和在这个 state 每个行为 action 所拥有的 Q 值. 而当今问题是在太复杂, 状态可以多到比天上的星星还多(比如下围棋). 如果全用表格来存储它们, 恐怕我们的计算机有再大的内存都不够, 而且每次在这么大的表格中搜索对应的状态也是一...
莫烦强化学习笔记整理（四） DQN-part1
lxs3213196的博客
11-05 1321
莫烦强化学习笔记整理（四） DQN-part1什么是DQNDQN算法更新DQN神经网络DQN思维决策openAI gym环境库Double DQNDQN with Prioritized ReplayDueling DQN DQN-part1) 什么是DQN DQN算法更新 DQN神经网络 DQN思维决策 openAI gym环境库 Double DQN DQN with Prioritized Replay Dueling DQN ...
深度强化学习 # Deep-Q-Network
skysys的研究小屋
11-25 1343
前置教程: Q-learning； DQN基础 传统表格学习的强化学习算法有瓶颈（比如下围棋，状态空间太大，无法存下，相当于把存储空间压缩在网络里了），融合神经网络+Q-Learning的算法。 表格存储空间不够，搜索复杂度过高，用NN来得到Q value 用NN的两种情形：（1）输出状态值，NN输出Q值（2）输出状态值，NN输出all Q值，然后取max(Q)；后面使用第（2）种NN来进行分析。 如何Train NN？ 需要 a1, a2 正确的Q值, 这个 Q 值我们就用之前在 Q learni
强化学习相关
sjzwangmc的博客
06-26 258
强化学习 在学习了一段时间的机器人之后，我开始学习强化学习的相关课程。 首先要了解的强化学习的体系，根据自己的情况，将强化学习分成了model-free和model-based两种，而我需要的是model-free，也就是创建虚拟环境来达到强化学习的目的。 最开始的是Qlearning和Sarsa等强化学习方法，随着了解的深入，开始明白简单的强化学习是无法解决复杂问题的，所以需要引入神经网络。将强化学习的S（状态）和A（动作）作为输入，输入进神经网络，经过分析后得到动作的Q值，这样的目的是没有必要记录每一步
深度强化学习——概念及算法总结
weixin_42898871的博客
02-06 6160
深度强化学习相关经验贴学习和总结，附原文连接。
深度强化学习 # DDPG
skysys的研究小屋
12-12 1847
Deep Deterministic Policy Gradient (DDPG) 前置基础：policy gradient DDPG是一种Actor-Critic结构。 基于PARL实现DDPG Reference https://www.bilibili.com/video/BV1yv411i7xd?p=18 https://mofanpy.com/tutorials/machine-learning/reinforcement-learning/intro-DDPG/ ...
Deep Q-learning
petSym的博客
12-03 243
https://www.bilibili.com/video/av16921335?p=14 DQN 两种模型 状态和动作作输入，得到动作的Q值 状态作输入，所有动作的Q值作输出，选择Q值最大的对应的动作作为接下来要做的动作。 作业是第二种 神经网络的更新 DQN强大的根本原因 DQN有记忆库用于学习之前的经历 Q-learning是一种off-poilcy的离线学习法，可以学习当...
强化学习（一）Deep Q-Network
遥远的她
09-16 4564
今天在看tensorflow-without-a-phd视频教程时，看到强化学习那一章时略有所思，随做记录。 tensorflow-without-a-phd所有教程，三步视频教程（带英文字幕）。 原文地址。 1. 前言 虽然将深度学习和增强学习结合的想法在几年前就有人尝试，但真正成功的开端就是DeepMind在NIPS 2013上发表的 Playing Atari with Deep ...
强化学习（3）：Deep Q Network（DQN）算法
zuzhiang的博客
11-21 2566
最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来，欢迎大家关注我的 个人博客，以及我的github。 本文主要讲解有关 Deep Q Network（DQN）算法的相关内容。 1. DQN 的基本思想 传统的 Q-Learning 算法当 Q 表过大时不仅难以存储而且难以搜索，并且当状态是连续的话，用 Q 表存储是不现实的，这时可以用一个函数来拟合 Q 表，所以提出了神经网络和 Q-...
高效目标跟踪研究：基于改进Mean Shift与粒子滤波的快速方法
This method is particularly suitable for tracking small and fast-moving targets. The key technologies involved in this research include the Mean Shift algorithm, Lucas-Kanade optical flow method, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ASKCOS

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值