深度强化学习笔记

已于 2024-03-27 21:08:43 修改
阅读量103 收藏
点赞数 3
文章标签： 笔记
于 2024-03-27 19:39:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/McGregor_/article/details/137087059
版权
本文讨论了强化学习中DQN算法在离散动作选择中的应用，强调了DQN可能产生的误差问题。同时介绍了双Q-learning解决过估计问题的方法。还提到了状态价值函数在PolicyGradients中的挑战以及如何通过神经网络模型化、蒙特卡洛近似和target网络进行优化。
摘要由CSDN通过智能技术生成

总共两个主要点，1.动作价值函数衍生出的DQN等，一般使用误差

2.状态价值函数衍生出的状态价值函数。Policy Gradients 中无法使用策略的误差来构建损失函数，因为参数更新的目标是最大化累积奖励的期望值

通过对某含部分的神经网络模型化，或采用蒙特卡洛近似，或建立target网络衍生出一系列模型

1.DQN、双Q

2.

在强化学习中，对于离散化的动作的学习，都是以DQN为基础的，DQN则是通过的最大化动作价值函数 的方式去选择动作，往往都会过大的估计价值函数，从而造成误差。

Double Q-learning构建两个动作价值函数，一个用于估计动作，另外一个用于估计该动作的价值

2

B站王树森DRL

McGregor_
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【深度强化学习笔记】--第一节：强化学习模型
echo245的博客
08-19 2284
1.强化学习 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题 [1] 。 强化学习的常见模型是标准的马尔可夫决策过程（Markov Decision Process, MDP）。按给定条件，强化学习可分为基于模式的强化学习（model-based RL）和无模式强化学习（model-free RL） [1] ，以及主动强
强化学习笔记和学习材料
01-02
6. 深度强化学习（Deep Reinforcement Learning, DRL）：结合了深度学习和强化学习，通过深度神经网络（如Q网络或策略网络）来处理高维度状态空间，使得强化学习可以应用于复杂环境。 7. 重要概念：探索与利用...
王树森深度强化学习 笔记
m0_52744273的博客
12-07 1075
本笔记基于王树森深度强化学习。
李宏毅深度强化学习笔记
weixin_46156798的博客
08-31 758
文章目录增强学习（RL）的一些基本概念：RL的基本组成：三者相互作用的过程：Policy：轨迹的概率：Expected Reward：Policy gradient:On-policy→\rightarrow→Off-policyImportance Sampling：PPO:注： 增强学习（RL）的一些基本概念： RL的基本组成： 1-actor：即操纵/需要学习的对象，如飞机大战里的飞机 2-environment：外部环境，如飞机大战里除了飞机以外的所有东西，他们均为游戏内部设定 3-reward：回
深度强化学习（王树森）笔记01
阿正的梦工坊
01-26 1352
强化学习的基本概念：state, action, policy, reward, return, value functions等
深度强化学习笔记之PPO算法理解（1）
Azahaxia的博客
05-27 8346
深度强化学习笔记之PPO算法理解（1） 笔记内容来源于李宏毅老师的深度强化学习的PPT。 关于PPO（Proximal Policy Optimization），李老师分为了三个部分进行了介绍。 Policy Gradient：该方法是PPO的前身，与基于价值的强化学习方法不同，策略梯度法是对策略进行更新； On-policy | Off-policy Add constraint：对Policy Gradient进行一些限制，前者就变成了PPO。 1.Policy Gradient 与基于价值的强化
深度强化学习笔记——基本方法分类与一般思路
One step, One punch
08-23 1337
概要 本文梳理了一下台大李宏毅老师的深度强化学习系列课程内容。该课程主要是对无模型深度强化学习方法的一些大致介绍，将其分为大致三类：基于值函数的、基于梯度的方法、actor-critic的方法。（其他方法还有模仿学习imitation learning与逆强化学习inverse reinforcement learning） 分类方法可以见下图： 本文对三大类方法的基本思路进行阐述，为了写作的方便，文中的图大部分来自课件中的原图。有任何不准确的地方望指正！ 1. 基于梯度的方法（Policy-based
【李宏毅深度强化学习笔记】—1、策略梯度方法（Policy Gradient）
qq_43703185的博客
06-30 580
1、介绍了actor、environment、reward function2、在深度强化学习中，policy可以看成是参数为的网络，输入state，输出采取各种action的概率3、一轮游戏叫做episode4、trajectory={s1,a1,s2,a2,……}，在给定policy的参数的情况下，可以计算每一个存在的概率。5、总的expected reward=6、使用policy gradient ascend求 expected reward的最大值。
【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO)
热门推荐
ACL_lihan的博客
01-15 1万+
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法（本文） 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动...
深度强化学习笔记之PPO实现细节（2）
Azahaxia的博客
05-27 2660
强化学习笔记之PPO的实现细节（2） 本文主要参考于Coding PPO from Scratch with PyTorch系列，但本文并不会像该系列一样手把手讲解全部的实现细节，只是记录一下自己在实现过程中遇到的一些问题和思考。 下图是采用Clipped Surrogate Objective的PPO伪代码，本文的代码实现主要根据它来实现。 1.构建目标函数 PPO算法的实现重点，就是为了得到上图中的两个目标函数。也就是说，我们只要可以构造出式(1)和式(2)作为损失函数，基本就实现了PPO。 θk+1
DeepRL：基于UC Berkeley的CS285的深度强化学习笔记.zip
10-26
这份"DeepRL：基于UC Berkeley的CS285的深度强化学习笔记"包含了一系列的学习材料，可以帮助我们系统地理解DRL。 一、深度学习基础 深度学习是机器学习的一个子领域，它通过模拟人脑神经网络的结构和功能来处理复杂...
强化学习DQN笔记.md
08-21
内容概要： 本文深入探讨了强化学习（Reinforcement Learning）以及深度强化学习（Deep Reinforcement Learning）的关键概念和应用。文章首先介绍了强化学习的基本概念，如目标、交互方式等，然后详解了马尔科夫决策...
DeepRL：基于UC Berkeley的CS285的深度强化学习笔记
02-17
深度强化学习 说明：注释内容基于加州大学伯克利分校的CS285。 内容清单 简介与概述 行为监督学习 Tensorflow和神经网络 强化学习导论 政策梯度 演员关键算法 值函数方法 具有Q功能的Deep RL 高级策略梯度 ...
UCB CS294 深度强化学习中文笔记（谢天）
02-11
UCB CS294 深度强化学习中文笔记（谢天） UCB CS294 深度强化学习中文笔记（谢天）
深度学习Cup-main笔记
最新发布
05-31
实际应用部分，笔记可能会介绍深度学习在图像识别、语音识别、自然语言处理（NLP）、推荐系统、强化学习等领域中的应用实例，帮助读者了解深度学习如何在实际问题中发挥作用。 在"2022HuaweiCup-main (3).zip"这个...
Deeplearning深度学习笔记v5.52
03-22
最后，笔记可能会探讨深度学习的一些前沿话题，比如强化学习（Reinforcement Learning, RL）和元学习（Meta-Learning），这些领域正在为智能体的学习能力和适应性带来新的突破。 总的来说，“Deeplearning深度学习...
一份简短的深度学习笔记.pdf
05-03
深度学习 大神精简笔记 巩固强化基础 面试神器 各种基础知识强化 推理步骤 大神学习笔记 作者 朱鉴
深度学习基础巩固：大神精简笔记
"这是一份深度学习的精简笔记，由大神SteveZhu(朱鉴)编撰，旨在帮助读者巩固和强化深度学习的基础知识，适用于面试复习。笔记涵盖了一系列深度学习的基础概念，包括数学符号定义、线性代数、微积分以及概率和信息论...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值