为什么Q learning，DQN，DPG，DDPG不需要importance sampling?

最新推荐文章于 2024-05-30 09:00:17 发布
最新推荐文章于 2024-05-30 09:00:17 发布
阅读量2k 收藏 4
点赞数 1
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linyijiong/article/details/95512912
版权
最近有同学问我为什么Qlearning，DQN，DDPG等off policy的算法不需要importance sampling。我看了一下网上的资料很少，仅有的资料虽然解释得还算清晰，但是基本上也是只有懂的人才看得懂，不懂的人还是得消化很久。从ADEPT（Analogy / Diagram / Example / Plain / Technical Definition）的学习规律出发，本人...
摘要由CSDN通过智能技术生成

最近有同学问我为什么Qlearning，DQN，DDPG等off policy的算法不需要importance sampling。

我看了一下网上的资料很少，仅有的资料虽然解释得还算清晰，但是基本上也是只有懂的人才看得懂，不懂的人还是得消化很久。从ADEPT（Analogy / Diagram / Example / Plain / Technical Definition）的学习规律出发，本人尝试一下给出直观理解、数学方法、图形表达、简单例子和文字解释。

 

首先为什么需要off policy，off policy是什么，大家可以看一下我之前的回答，这里就直入正题。

强化学习1：彻底分清On-Policy&Off-Policy

强化学习2：Q-learning与Saras？流程图逐步解释

 

我们先看一下Q learning的update公式：

很明显可以知道，这里之所以是off policy，我们选得next action不是通过behavior policy来选择的，而是直接从target policy 选择的（即greedy/argmax）。那么这里需要imporce sampling的ratio来矫正差异吗？

 

最低0.47元/天 解锁文章
Bourne_Boom
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【强化学习】中Q-learning,DQN等off-policy算法不需要重要性采样的原因
开贰锤
12-07 4601
由于Q-learning采用的是off-policy，如下图所示 但是为什么不需要重要性采样。其实从上图算法中可以看到，动作状态值函数是采用1-step更新的，每一步更新的动作状态值函数的R都是执行本次A得到的，而我们更新的动作状态值函数就是本次执行的动作A的Q(S,A)Q(S,A)Q(S,A)。就算A不是通过greedygreedygreedy策略选择的（是通过ϵ−greedy\epsilon...
Chapter 5: 蒙特卡罗方法
qq_37139992的博客
08-06 598
Chapter 5：蒙特卡罗方法5.1 Monte Carlo Prediction5.2 MC Estimation of Action Values5.3 MC ControlMonte Carlo ES method5.4 MC Control without Exploring Starts5.5 Off-policy Prediction via Importance Sampling ...
为什么DQN不需要important sampling？——强化学习
千羽的计算机视觉与机器人
10-11 1038
分析这个问题要从重要性采样和target policy的本质出发，本文分为以下三步来介绍DQN为什么不需要重要性采样：重要性采样的目的、target policy和behavior policy的含义、DQN为什么不需要重要性采样。
Q-Learning 简介：初学者教程（1）
最新发布
gongdiwudu的专栏
05-30 1580
强化学习强调无模型学习算法，因此出现Q-Learning，Q-Learning算法酷似“有限状态自动机”模型，只是增加了奖励机制和Agent机制，而Agent与粒子群算法、蒙特卡洛算法是有关的。本文介绍这个算法框架。
为什么Q-learning不用重要性采样（importance sampling）？
hehedadaq的博客
01-11 3314
为什么Q-learning不用重要性采样（importance sampling）？ 文章目录为什么Q-learning不用重要性采样（importance sampling）？前言：参考链接：理解过程：1step-Q-learning的定义公式：2step-Q-learning： 前言： 前几天在整重要性采样，然后提到的一个模糊的概念就是: 在异策略(off-policy)方法中，行动策略μ\muμ即用来产生样本的策略，所产生的轨迹概率分布相当于重要性采样中的q[z]q[z]q[z]，用来评估和改进的策
【李宏毅机器学习课程笔记】深度强化学习（二）——PPO（Proximal Policy Optimization）
weixin_42770354的博客
11-13 936
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想
zhangxiaolil的博客
11-05 2307
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想 强化学习的五大要素： State、Action、Reward、Discount factor （r）、P 转移概率。 Q-Learning思想过程 Q-learning是强化学习中基于价值的算法，是一种off-policy、免模型策略。 Q-Learning就是在环境的某一个时刻的状态(state)下，采取动作集中的一个动作a能够获得收益的期望，环境会根据agent的动
DQN摆锤_deeplearning_Qlearning_DQN_源码
10-02
在本文中，我们将深入探讨深度强化学习（Deep Reinforcement Learning，DRL）中的核心算法——深度Q学习（Deep Q-Network，DQN）。这个算法在标题中被提及，并且通过"摆锤"这一简单的环境来展示其应用。我们将会解析...
dqn.rar_DQN简单例程_DQN运行_band176_dqn uav程序_qlearning
07-15
深度强化学习（Deep Q-Network，简称DQN）是一种结合了深度学习与强化学习的算法，主要用于解决连续状态空间和动作空间的环境问题。在这个“dqn.rar”压缩包中，包含的“rlbrain.py”和“dqn.py”两个文件，很可能是...
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip
12-15
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip 基于Pytorch实现深度强化...
cartpole-qlearning-master_倒立摆_强化学习_DQN_
10-01
传统的Q学习由于使用表格存储Q值，不适用于高维度的状态空间，而DQN通过神经网络解决了这个问题。它引入了两个关键创新：经验回放缓冲区和目标网络。经验回放缓冲区用于存储过去的体验，以实现样本的随机采样，减少...
deep-q-learning：Keras中的最小深度Q学习（DQN和DDQN）实现
02-05
深度学习通过深度强化学习制作简单的游戏AI简介 Keras和Gym中最小和简单的深度Q学习实现。 不到100行代码！ 博客文章包含dqn.py代码的说明。 为了方便起见，我对该存储库进行了一些细微的调整，例如load和save功能。...
强化学习系列（五）：蒙特卡罗方法（Monte Carlo)
热门推荐
LagrangeSK的博客
07-27 2万+
一、前言 在强化学习系列（四）：动态规划中，我们介绍了采用DP方法求解environment model 已知的MDP，本章将介绍一种无模型的强化学习方法——蒙特卡洛方法（Monte Carlo)。...
一文读懂Q-Learning，DQN，DDPG的连接关系
苑小量的博客
03-24 4199
最近几个月一直在看强化学习，把强化学习导论（Reinforcement Learning：An Introduction）跟着b站视频看了一遍，发现书上的大部分是理论，实践代码并不多，所以可以看看知乎David Silver强化学习公开课中文讲解及实践，看完之后呢就会发现，强化学习在沿着解决连续动作和深度卷积神经网络逼近值函数来解决问题。下面先写出目前所学到的知识，后期会继续更新。 1.Q-Learning Q-Learning是强化学习算法中极其重要的算法，Q即为Q（s,a）就是在某一时刻的 s 状态下，
dpg learning 和q_【强化学习】DPG, DQN与DDPG
weixin_28902341的博客
12-24 1144
(由于最近研究方向从CV转到了RL，得从头学RL的知识。所以这段时间我会整理一些RL中非常经典的论文，在给我自己整理思路的同时，也分享给大家。)写在前面今天主要介绍三篇RL中非常重要的论文：DPG (Deterministic Policy Gradient)为什么要将这三篇放在一起介绍呢？因为DDPG其实是在DPG之上，加入了DQN的idea，而形成的文章(从名字也能看出来，在DPG前面加上DQ...
强化学习——从Q-Learning到DQN到底发生了什么？
zhi元元元
05-10 1万+
1 学习目标1. 复习Q-Learning；2. 理解什么是值函数近似（Function Approximation）；3. 理解什么是DQN，弄清它和Q-Learning的区别是什么。2 用Q-Learning解决经典迷宫问题现有一个5房间的房子，如图1所示，房间与房间之间通过门连接，编号0到4,5号是房子外边，即我们的终点。我们将agent随机放在任一房间内，每打开一个房门返回一个reward...
强化学习（RLAI）读书笔记第七章n步自举（n-step Bootstrapping）
无所知的博客
09-05 3125
第七章：n-step Bootstrapping 这一章中我们把蒙特卡洛算法(MC)和一步差分算法(one-step TD)统一起来。MC算法和一步TD算法都不可能永远是最好的。这两个方法都是比较极端的形式，可能使用它们中间形式会更好一些。另一个看待n步TD算法的优势的角度是它解决了固定时间步骤的缺点。比如一步TD算法固定了每次选择动作和更新值的时间间隔。很多应用中想要把发生的改变快速更新到值函...
强化学习： On-Policy与 Off-Policy 以及 Q-Learning 与 SARSA
Call Me Hi Johnny~~
10-13 6798
刚接触强化学习，都避不开On Policy 与Off Policy 这两个概念。其中典型的代表分别是Q-learning 和 SARSA 两种方法。这两个典型算法之间的区别，一斤他们之间具体应用的场景是很多初学者一直比较迷的部分，在这个博客中，我会专门针对这几个问题进行讨论。 以上是两种算法直观上的定义。 我们都称 Q-Learning 是 Off Policy . SARSA 是 On Pol...
importance sampling(重要性采样)
领悟 释然
07-07 5412
问题： g(x)已知，为x的函数，p(x)为随机变量x的概率密度函数，p(x)解析式已知，计算g(x)在p(x)分布下的均值（数字特征）。 方法： Ep(x)(g(x))=∫xg(x)p(x)dxE_{p(x)}(g(x))=\int_{x}^{ }g(x)p(x)dx 但是现在的问题是此定积分很难计算，所以需要使用采样的方法。参照p(x)采样N个样本，按照如下方法计算： Ep(x
DPG算法是如何结合DQN算法演变为DDPG算法的
05-28
DPG算法使用深度神经网络来逼近Q值函数，但是由于连续动作空间的问题，DPG算法需要对动作进行采样和噪声处理，同时还需要使用策略梯度方法来更新策略网络。 DQN（Deep Q-Network）算法是一种用于离散动作空间的强化...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值