论文笔记5：How to Discount Deep Reinforcement Learning:Towards New Dynamic Strategies

最新推荐文章于 2024-06-10 00:59:46 发布
最新推荐文章于 2024-06-10 00:59:46 发布
阅读量737 收藏 1
点赞数
文章标签： 笔记 深度强化学习 DQN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yyyxxxsss/article/details/80573366
版权
该文探讨了深度强化学习（DQN）中折扣因子（discount factor）和学习率（learning rate）的动态调整对算法性能的影响。通过实验表明，逐步增长的discount factor可以加速学习收敛，而学习率的降低能提升系统稳定性，减少过拟合。同时，引入actor-critic算法增强探索性，避免局部最优。文章结构包括DQN回顾、discount factor的作用分析以及实验结果展示。
摘要由CSDN通过智能技术生成

参考资料：How to Discount Deep Reinforcement Learning: ...

为帮助跟我一样的小白，如果有大神看到错误，还请您指出，谢谢~

知乎同名：uuummmmiiii

创新点：相比于原始DQN不固定折扣因子（discount factor,γ），学习率（learning rate,α）

改进：变化discount factor 和 learning rate

改进原因：原始的DQN，即用NN代替Q表“存储”Q值，会出现系统不稳定的情况（应该是涉及到强化学习中状态之间有相关性，而NN中假设的输入都是独立同分布的问题）

带来益处：加快学习算法收敛，提高系统稳定性

Abstract

在强化学习中采用深度网络做函数估计已经取得了很大的进展（DQN），在DQN这个基准之上进行改进，本文阐述了discount factor在DQN的学习过程中起到的作用，当diac

最低0.47元/天 解锁文章
uuummmmiiii
关注
深度强化学习 (Deep Reinforcement Learning)
AI天才研究院
06-13 964
深度强化学习 (Deep Reinforcement Learning) 1.背景介绍 深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一个重要分支，它结合了深度学习和强化学习的优势，能够在复杂环境中实现智能
A Guide Resource for Deep Reinforcement Learning
学-> 思->用
12-24 744
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
Deep Reinforcement Learning 基础知识（DQN方面）
热门推荐
Flood Sung的专栏
01-25 9万+
## Introduction 深度增强学习Deep Reinforcement Learning是将深度学习与增强学习结合起来从而实现从Perception感知到Action动作的端对端学习的一种全新的算法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有hand-crafted工作。深度增强学习具备使机器人实现完全自主的学习一种甚至多种技能的潜力。
Deep Reinforcement Learning 强化学习详解
qq_18297893的博客
06-19 2839
概念 定义 强化学习（Reinforcement Learning，RL），是指一类从（与环境）交互中不断学习的问题以及解决这类问题的方法. 强化学习问题可以描述为一个智能体从与环境的交互中不断学习以完成特定目标（比如取得最大奖励值）. 和深度学习类似，强化学习中的关键问题也是贡献度分配问题，每一个动作并不能直接得到监督信息，需要通过整个模型的最终监督信息（奖励）得到，并且有一定的延时性. 例子： 多臂老虎机（Multi-Armed Bandit Problem） 悬崖行走 两个对象：
学习笔记之——深度强化学习（Deep Reinforcement Learning）
gwpscut的博客
09-24 8271
本博文为本人学习深度强化学习的学习笔记。仅供本人学习记录用，如有写得不对的地方，请多指教哈~ 目录 强化学习 深度强化学习 基于深度强化学习的移动机器人导航 参考资料： Deep Reinforcement Learning，百度百科上对其解释是“深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方...
深度强化学习deep reinforcement learning
hushangjie123的博客
01-20 317
Lecture content of deep reinforcement learning: An overview of reinforcement learning Markov decision process Monte Carlo method Model based reinforcement learning Reinforcement learning based on sampling estimation Reinforcement learning based
深度增强学习方向论文整理
qunnie_yi的博客
11-28 2644
本文为知乎专栏作者Alex-zhai原创，已授权CSDN转载。 责编：王艺 一. 开山鼻祖DQN Playing Atari with Deep Reinforcement Learning，V. Mnih et al., NIPS Workshop, 2013. Human-level control through deep reinforcement learning, V. M...
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
DDPG的创新与数字化转型
最新发布
AI天才研究院
06-10 760
作者：禅与计算机程序设计艺术 Deep Deterministic Policy Gradient (DDPG) has revolutionized reinforcement learning by enabling agents to learn complex policies in continuous action spaces, particularly in e
Playing Atari with Deep Reinforcement Learning算法解读
zhaoxin的博客
05-02 4176
前言 最近一直弄RL，看了一下DeepMind的文章和代码。记录一下个人对算法的理解。 文章地址 http://outlace.com/Reinforcement-Learning-Part-3/ dqn-in-the-caffe 解析 直接上图
论文阅读14：Reinforcement learning approach towards effective content recommendation in MOOC environments
uuummmimiii的博客
08-09 581
参考论文：Reinforcement learning approach towards effective content recommendation in MOOC environments #论文笔记：Reinforcement learning approach towards effective content recommendation in MOOC environmen...
强化学习的学习之路（三十八）_2021-02-07： Actor Critic - Discount factor
热爱可抵漫长岁月
02-27 1098
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ Discount factor Discount facto
论文笔记之：Collaborative Deep Reinforcement Learning for Joint Object Search
weixin_34189116的博客
12-08 509
Collaborative Deep Reinforcement Learning for Joint Object Search CVPR 2017 Motivation： 　　传统的 bottom-up object region proposals 的方法，由于提取了较多的 proposal，导致后续计算必须依赖于抢的计算能力，如 GPU 等。...
PR17.10.2:Reproducibility of Benchmarked Deep Reinforcement Learning Tasks for Continuous Control
Keep calm and carry on.
10-03 556
What’s problem and challenges?There are many sources of possible instability and variance that can lead to difficulties with reproducing deep policy gradient methods such as DDPG and TRPO.What’s the pr
Deep Reinforcement Learning for Dialogue Generation
weixin_33777877的博客
08-01 142
本文将会分享一篇深度增强学习在bot中应用的文章，增强学习在很早的时候就应用于bot中来解决一些实际问题，最近几年开始流行深度增强学习，本文作者将其引入到最新的bot问题中。paper的题目是Deep Reinforcement Learning for Dialogue Generation，作者是Jiwei Li，最早于2016年6月10日发在arx...
Deep Reinforcement Learning for High Precision Assembly Tasks
KunBB的博客
06-06 844
Introduction 背景： 机械部件的高精度装配要求精度超过机器人精度； 经典的编程方法是通过使用称为“示教器”的控制盒来定义关键位置和运动，从而教导机器人执行工业装配任务。 这种在线编程方法通常是繁琐且耗时的。 即使在编程之后，由于环境变化，调整用于将机器人部署到新工厂线的参数也需要很长时间； 离线编程或模拟可以减少实际机器人的停机时间，但总体上可能需要比在线编程更长的时间，包括在机器人...
Resource Management with Deep Reinforcement Learning论文总结
qq_42498154的博客
10-30 1306
Resource Management with Deep Reinforcement Learning 算法说明： 本次实验采用策略梯度强化学习算法，并附加同SJF,Packer,Tetris三种调度策略的对比。代码运行之初，可选则Sjf或者Packer进行调度，获得决策数据，运用监督学习进行神经网络的初始化。 一.先进行监督学习 1.监督学习流程图 2.剖析监督学习流程图 2.1数据收集，获取数据 先用“SJF”或者“PACKER”的数据进行调度，获得决策轨迹，在这里，如果获得SJF，就进行get_s
深度强化学习精要：Grokking Deep Reinforcement Learning
"Manning.Grokking.Deep.Reinforcement.Learning.2020.10.pdf - 一本关于深度强化学习的专业书籍，由Miguel Morales撰写，Charles Isbell, Jr.作序，由Manning出版社出版。内容涵盖深度强化学习的理论与实践，旨在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值