强化学习&基于策略7.7 | Importance Sampling

最新推荐文章于 2023-10-27 23:05:26 发布
最新推荐文章于 2023-10-27 23:05:26 发布
阅读量187 收藏
点赞数
分类专栏： 游戏AI 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43236007/article/details/117607828
版权
本文探讨了强化学习中基于策略学习的一种方法——Importance Sampling，它允许回收所有轨迹进行参数更新，以提高计算效率。然而，重加权因子可能导致数值问题，这一问题在PPO算法中有相应的解决方案。
摘要由CSDN通过智能技术生成

在之前的基于策略的学习中，更新神经网络参数的trajectories是更新后就直接丢掉的，用新的trajectories来更新新的网络参数。实际上我们可以将所有trajectories回收用来更新后续的参数
在这里插入图片描述
我们可以采用Importance Sampling的方式来计算期望回报提高计算效率，f是关于reward函数
在这里插入图片描述
但是re-weight factor会很容易变成0或者无穷大，这在PPO算法中得以解决
在这里插入图片描述

ASKCOS
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
强化学习&基于策略7.8 | surrogate function和PPO算法
ASKCOS博客
06-06 686
我们使用加入 Importance Sampling的方式来计算梯度 假设新的策略和老的策略相似时候，所有的图中项接近于1，可以将它们省略 surrogate function，即代理函数或者替代函数。一般是指当目标函数非凸、不连续时，数学性质不好，优化起来比较复杂，这时候需要使用其他的性能较好的函数进行替换。我们用新的surrogate function来计算梯度 我们用旧的trajectories来更新我们的策略，但是新的策略很可能会与老的很不一样，导致之前假设会不合理 当policy变化很多
【强化学习】重要度采样（Importance Sampling）
sword_csdn的博客
11-24 1504
目录知识准备重要度采样优化积分的近似 知识准备 假设随机变量X的取值：x1,x2,...,xnx_1,x_2,...,x_nx1​,x2​,...,xn​，它对应的概率PPP是：p1,p2,...,pnp_1,p_2,...,p_np1​,p2​,...,pn​，则关于XiX_iXi​的数学期望是： E(X)=∑k=1∞xipkE(X)=\sum_{k=1}^\infty x_ip_kE(X)=k=1∑∞​xi​pk​ 如果h(xi)h(x_i)h(xi​)是关于随机变量XXX的事件，则它发生的概率跟随机变
强化学习中的重要性采样(Importance Sampling)
qq_31239371的博客
04-02 730
转自：强化学习中的重要性采样(Importance Sampling) - 知乎
强化学习的学习之路（四十二）2021-02-11 Issues of Importance Sampling
热爱可抵漫长岁月
04-03 240
作为一个新手，写这个强化学习-基础知识专栏是想和大家分享一下自己学习强化学习的学习历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己在2021年能保证平均每日一更的更新速度，主要是介绍强化学习的基础知识，后面也会更新强化学习的论文阅读专栏。本来是想每一篇多更新一点内容的，后面发现大家上CSDN主要是来提问的，就把很多拆分开来了（而且这样每天任务量也小一点哈哈哈哈偷懒大法）。但是我还是希望知识点能成系统，所以我在目录里面都好按章节系统地写的，而且在github上写成了书籍的形式，如果大家觉得有帮助，
Importance Sampling in Reinforcement Learning - An overview
止于至玄
07-25 1847
Thanks Sutton and Barto for their great work of Reinforcement Learning: An Introduction.Almost all off-policy reinforcement learning methods utilize importance sampling, a general technique for...
importance sampling
yuandong_D的博客
04-07 748
转载：https://blog.csdn.net/wangpeng138375/article/details/74645637 问题： g(x)已知，为x的函数，p(x)为随机变量x的概率密度函数，p(x)解析式已知，计算g(x)在p(x)分布下的均值（数字特征）。 方法： Ep(x)(g(x))=∫xg(x)p(x)dx Ep(x)(g(x))=∫xg(x)p(x)dx 但是现在的问...
importance sampling.pdf
02-27
在图形学和深度学习等领域，重要性采样尤为关键，因为它能够在难以直接采样的情况下，通过一些手段获得更加精确的估计结果。下面详细介绍重要性采样的概念和相关技术。 首先，重要性采样对于那些感兴趣区域具有很小...
adaptive importance sampling
08-30
adaptive importance sampling
Importance Sampling (重要性采样)
qq_39429669的博客
08-27 312
Importance Sampling (重要性采样) - Ph0en1x的文章 - 知乎 https://zhuanlan.zhihu.com/p/36816898
重要性采样（Importance Sampling）
qq_39429669的博客
08-27 133
重要性采样（Importance Sampling） - 时雨的文章 - 知乎 https://zhuanlan.zhihu.com/p/41217212
强化学习------PPO算法
最新发布
niulinbiao的博客
10-27 1万+
PPO算法之所以被提出，根本原因在于在处理连续动作空间时取值抉择困难。取值过小，就会导致深度强化学习收敛性较差，陷入完不成训练的局面，取值过大则导致新旧策略迭代时数据不一致，造成学习波动较大或局部震荡。除此之外，因为在线学习的性质，进行迭代策略时原先的采样数据无法被重复利用，每次迭代都需要重新采样；同样地置信域策略梯度算法虽然利用重要性采样、共轭梯度法求解提升了样本效率、训练速率等，但在处理函数的二阶近似时会面临计算量过大，以及实现过程复杂、兼容性差等缺陷。而PPO算法具备。
强化学习Proximal Policy Optimization(PPO)算法详解
qq_41626059的博客
03-17 1万+
强烈建议自己拿着笔在草稿纸上划拉划拉，公式推导很简单的！！！ 一、准备知识 1.1、on-policy VS off-policy On-policy:智能体agent（actor）学习并且和环境发生互动。 Off-policy:一个智能体agent（actor）A1A1A1看另外一个智能体A2A2A2和环境互动，然后A1A1A1使用A2A2A2和环境互动的数据来进行学习 例子1：打篮球。 你自己亲自去打就是On-policy,如果把投球的姿势看作一个你要学习的动作， 你发现动作a1a_{1}a1​可以
强化学习实战系列(2020最新)
08-28
强化学习系列课程主要包括经典算法原理讲解与案例实战两大部分。通俗讲解当下主流强化学习算法思想，结合实例解读算法整理应用流程并结合案例展开代码实战。整体风格通俗易懂，适合准备入门强化学习并进阶提升的同学们。
importance sampling(重要性采样)
领悟 释然
07-07 5424
问题： g(x)已知，为x的函数，p(x)为随机变量x的概率密度函数，p(x)解析式已知，计算g(x)在p(x)分布下的均值（数字特征）。 方法： Ep(x)(g(x))=∫xg(x)p(x)dxE_{p(x)}(g(x))=\int_{x}^{ }g(x)p(x)dx 但是现在的问题是此定积分很难计算，所以需要使用采样的方法。参照p(x)采样N个样本，按照如下方法计算： Ep(x
重要性采样(Importance Sampling)详细学习笔记
hehedadaq的博客
01-08 1万+
重要性采样(Importance Sampling)透彻学习笔记 文章目录重要性采样(Importance Sampling)透彻学习笔记前言：参考主体：on-policy 和 off-policyOn-policy:Off-policy:重要性采样重要性采样后方差的变化-公式推导 前言： 重要性采样，我在众多算法中都看到的一个操作，比如PER，比如PPO。 由于我数学基础实在是太差了，每次看都是迷糊过去，希望下次能看懂，半年前看《深入浅出强化学习》的时候，是理解了的，但是没做笔记，再看的时候就记不起来了…
强化学习系列（五）：蒙特卡罗方法（Monte Carlo)
热门推荐
LagrangeSK的博客
07-27 2万+
一、前言 在强化学习系列（四）：动态规划中，我们介绍了采用DP方法求解environment model 已知的MDP，本章将介绍一种无模型的强化学习方法——蒙特卡洛方法（Monte Carlo)。...
强化学习（RLAI）读书笔记第五章蒙特卡洛方法
无所知的博客
08-31 3495
第五章：蒙特卡洛方法 和前几章讲的不一样，蒙特卡洛方法不需要对环境进行完全的建模，而只需要经验，也就是实际或者仿真的与环境进行交互的整个样本序列，包括状态动作和反馈信息。从实际交互中学习并不需要对环境建模，而从仿真交互中学习也只需要能够产生相应的转移样本而不是完整的环境状态转移概率分布。而且很多的例子中产生相应的交互例子很容易，得到概率分布却很难。 蒙特卡洛方法采用平均样本反馈的方法来解决强化...
基于策略的强化学习
lsjmax的博客
10-19 3771
基于值函数的强化学习缺点 1.针对确定性策略。 值函数是间接得到最优策略的方法，根据价值函数的大小，贪心选择值最大的动作，是确定性策略，每次面对同一个状态，选择的动作是同一个。 2.存在策略退化。 基于值函数的方法，基本是用近似器去拟合真实的价值函数，必然存在着一定的误差，但是即使将误差训练到很小了，可能导致策略变差。比如真实的价值函数得到的A,B两个动作值分别为，0.45,0.46，真正的策略应...
importance sampling生成样本
07-14
重要性抽样（importance sampling）是一种用于生成样本的技术。它在统计学中常用于估计难以直接抽样的分布的性质。重要性抽样通过从一个已知的分布中抽取样本，然后根据另一个目标分布的权重进行加权，生成符合目标...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ASKCOS

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值