关于DQN和Policy Gradient的学习

最新推荐文章于 2024-07-13 19:22:57 发布
最新推荐文章于 2024-07-13 19:22:57 发布
阅读量1.1k 收藏 4
点赞数 2
分类专栏： Deep Reinforcement Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanni0616/article/details/88542323
版权
本文深入探讨了深度强化学习中的两种方法——DQN（Deep Q-Networks）和Policy Gradient。首先，介绍了DQN的基本原理、学习流程，并提供了相关资源链接以加深理解，包括实际应用示例。接着，转向Policy Gradient，讨论其核心概念，包括数学推导和实例解释，同时也分享了学习Policy Gradient的建议路径和资源。
摘要由CSDN通过智能技术生成

1.DQN的学习

这里有思路和流程：http://www.cnblogs.com/cjnmy36723/p/7018860.html

这里有DQN的伪代码，而且有俩个版本，区别就是targetQ的更新方式：https://blog.csdn.net/u013236946/article/details/72871858

这是个实际的例子：DQN玩Flappy Bird，结合实例看代码，理解起来会更容易。

https://www.jianshu.com/p/e63d8cd3b610

https://www.jianshu.com/p/0a04426ee3ad

贴一个我稍作修改的流程：

2.本人是学了DQN后再看的Policy Gradient，先跟着一些教程看，还说要先去MDP的动态规划、蒙特卡罗、TD巴拉巴拉，之后看了发现，感觉并没有什么关系也没什么用……（如果你想了解的话，贴个链接：

最低0.47元/天 解锁文章
yanni0616
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
策略梯度(Policy Gradient)原理与代码实战案例讲解
光剑书架上的书
05-27 294
1. 背景介绍 在机器学习领域，深度学习已经成为最炙手可热的话题之一。从卷积神经网络（CNN）到递归神经网络（RNN），再到生成对抗网络（GAN），它们在图像识别、自然语言处理、计算机视觉等众多领域取得了令人瞩目的成果。而在这场深度学习的革命中，策略梯度（Policy Gradient）技术也扮演了一个不可或缺的角色。今天我们就来一起探讨策略梯度技术
强化学习系列（十三）：Policy Gradient Methods
LagrangeSK的博客
09-27 7869
一、前言 之前我们讨论的所有问题都是先学习action value，再根据所得的action value 来选择action（无论是根据greedy policy选择使得action value最大的action ，还是根据 ϵ\epsilonϵ-greedy policy以1−ϵ1-\epsilon1−ϵ的概率选择使得action value最大的action ，action的选择都离不开act...
强化学习Q learning与policy gradient
mykeylock的博客
09-07 5381
开始学习强化学习： 包括alphago等都是强化学习的典型。 最典型的强化学习的算法为Q learning，这个算法的简介博客： https://www.zhihu.com/question/26408259 目前只是明白了Q learning的算法，还有很多要学习的。
强化学习之DQN和policy gradient
yangyangcome的博客
06-22 1980
1）什么是DQN？解决了什么问题？出发点是什么？ 2）什么是，主要解决什么问题？ 3）异同点 4）代码浅析
通俗易懂聊策略梯度法(Policy Gradient)
最新发布
步子哥的博客
07-13 552
在策略梯度更新公式中，∇θ∇θ​表示对策略参数θ\thetaθ进行梯度求导。通过策略梯度定理，我们可以将策略的目标函数对参数的梯度表示为对数概率和优势函数的乘积的期望。这个梯度用于指导策略参数的更新，从而使策略在训练过程中逐步优化。
强化学习基础四--Policy Gradient 理论推导
ikerpeng
11-23 8271
本文原文见我的知乎主页：https://www.zhihu.com/people/ikerpeng/ 参考： David Silver，Tutorial: Deep Reinforcement Learning，2016. Pieter Abbeel，Policy Optimization，2017. Hodo van Hasselt，Deep reinforcement Learni
策略梯度学习整合与理解
如雨繁辰‘s blog
10-09 3790
强化学习是一个通过奖惩来学习正确行为的机制. 家族中有很多种不一样的成员, 有学习奖惩值, 根据自己认为的高价值选行为, 比如 Q learning, Deep Q Network（value based）, 也有不通过分析奖励值, 直接输出行为的方法, Policy Gradients （policy based）. 甚至我们可以为 Policy Gradients 加上一个神经网络来输出预测的...
强化学习笔记
三七的博客
11-14 2761
文章目录一、基本框架二、算法分类2.1 按效果划分三、工具资源3.1强化学习算法库3.2强化学习环境库四、基于表格学习的算法算法描述4.1 sarsa(state-action-reward-state'-action')4.1 Q-learing五、DQN5.1 经验回放5.2 固定Q目标六、策略梯度方法与DQN对比6.1 策略梯度公式推导 入门课程网址：https://aistudio.baidu.com/aistudio/education/lessonvideo/981570 一、基本框架 Envi
深度强化学习之Policy Gradient & Actor-Critic Model & A3C
I AM BACK
01-12 7273
policy gradient actor-critic A3Cpolicy gradient在之前的DQN是进行value function的approximation，是value-vased RL。这次要讲的是policy-based RL。对于RL的policy直接进行参数表示：比如可以输入state（一幅图片，一个feature vector），然后由带有参数的某种算法（比如linear
【强化学习】策略梯度（Policy Gradient）
Judy18的博客
11-15 6078
策略梯度基本知识 强化学习主要分为两类： 基于价值的（如Sarsa、Q-Learning 和 DQN 算法），先计算每个状态对应的动作的 Q 值，再选择 Q 值最大的动作执行。 基于策略的：直接计算每个状态对应的动作或者动作的概率。 Policy Gradient 算法就是对策略函数进行建模，然后用梯度下降更新网络的参数。但是在强化学习中并没有实际的损失函数，而 PG 算法的目的是最大化累计奖励的期望值，因此将累计奖励的期望值作为损失函数，使用梯度上升算法来进行计算。 策略梯度公式 每一个..
强化学习基础算法介绍，DQN，策略梯度算法，Actor-Critic算法
weixin_41106546的博客
04-05 1105
在 Q-learning 算法中，我们以矩阵的方式建立了一张存储每个状态下所有动作值的表格。表格中的每一个动作价值表示在状态s下选择动作a然后继续遵循某一策略预期能够得到的期望回报。然而，这种用表格存储动作价值的做法只在环境的状态和动作都是离散的，并且空间都比较小的情况下适用，我们之前进行代码实战的几个环境都是如此（如悬崖漫步）。当状态或者动作数量非常大的时候，这种做法就不适用了。例如，当状态是一张 RGB 图像时，假设图像大小是210x160x3，此时一共有种状态。
强化学习（二）：Policy Gradient理解
suai9292的博客
04-12 8425
上一章已经介绍了基于值函数方法的简单的DQN的理解，而在深度强化学习领域另一种基于端到端思路的策略梯度（Policy Gradient）算法相较而言可能取得更好的结果，也更加方便理解。于是，本章我们就从有监督学习和强化学习的区别开始讲起，探讨策略梯度思想指导下的强化学习理念的简单理解。在之前的章节：强化学习(一)：简单的DQN理解中，我们已经了解到使用值函数的方法进行强化学习的本质是需要通过奖励的...
以Cart Pole为环境，实现DQN和PG算法
a294589592的博客
07-05 1462
以Cart Pole为环境，实现DQN和PG算法
强化学习——价值学习中的DQN
菜到怀疑人生的博客
01-17 4950
文章目录前言DQN算法损失函数推导训练DQN 前言 本文为《深度强化学习》的阅读笔记，如有错误，欢迎指出 DQN算法 DQN算法通过神经网络拟合最优动作价值函数Q∗(st,at)Q_*(s_t,a_t)Q∗​(st​,at​)，神经网络结构如下，输入为状态s，输出为每个动作的动作价值函数Q∗(st,at)Q_*(s_t,a_t)Q∗​(st​,at​)的值，即Q值，∗*∗表示最优策略，有多少个动作，就有多少个输出，DQN处理离散动作空间。 损失函数推导 DQN的损失函数为最优贝尔曼方程，其数学表达式为 Q
【从RL到DRL】深度强化学习基础（一）——基本概念、价值学习（DQN与TD算法）、策略学习与策略梯度
Vulcan_Q的博客
10-14 1350
本篇为深度强化学习基础的第一篇，回顾并介绍了强化学习中的一些基本概念，并初步阐释了神经网络在策略学习与价值学习中的应用。
【强化学习】Policy Gradient算法详解
热门推荐
shura的技术空间
06-20 7万+
DeepMind公开课https://sites.google.com/view/deep-rl-bootcamp/lectures David Silver教程 http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html morvanzhou课程https://morvanzhou.github.io/tutorials/...
深度增强学习之Policy Gradient方法1
人工智能
04-19 2万+
1 前言 在之前的深度增强学习系列文章中，我们已经详细分析了DQN算法，一种基于价值Value的算法，那么在今天，我们和大家一起分析深度增强学习中的另一种算法，也就是基于策略梯度Policy Gradient的算法。这种算法和基于价值Value的算法结合而成的Actor-Critic算法是目前效果最好的深度增强学习算法。 那么关于Policy Gradient方法的学习，有以下一些网上
强化学习算法学习汇总笔记 (一) — Q-learning、Sarsa、DQN、Policy Gradients
Hansry的博客
06-25 4849
一. 强化学习的分类 1.Model-free 和 Model-based Model-free 即机器人不知道外界环境信息，只能在机器人执行每一步动作后从环境中得到反馈然后去学习，只能按部就班，一步一步等待真实世界的反馈，再根据反馈采取下一步行动。诸如Q Learning， Sarsa，Policy Gradients等算法。 Model-based 指机器人对环境有一定的了解，可以对环境...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值