[RL 4] Reinforcement Learning An Introduction: Ch13 Policy Gradient Algorithm

最新推荐文章于 2022-05-01 09:00:00 发布
最新推荐文章于 2022-05-01 09:00:00 发布
阅读量137 收藏
点赞数
分类专栏： DRL 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyp99/article/details/109282491
版权

Chapter 13 策略梯度算法

13.1 PG优点

  1. stochastic policy
    1. PG学习stochastic policy(policy输出分布, 通过采样得到action); 而value-based算法采用 ϵ \epsilon ϵ-greedy policy
    2. 部分研究问题中, optimal policy为stochastic policy
  2. exploration
    1. 随机策略有利于exploration
    2. policy可以逐渐变deterministic, 即自动调整exploration的程度; 而value-based算法中(如SRARS, Q-learning) ϵ \epsilon ϵ一般不为0(或者不能自学习减小 ϵ \epsilon ϵ)
  3. 适用于连续动作空间
    1. 策略提升定理也使用与连续动作空间, 证明见:https://web.stanford.edu/class/cme241/lecture_slides/PolicyGradient.pdf
  4. 部分问题中policy比value function更好近似
  5. 可以利用prior knowledge(desired policy等)表示policy
  6. 有理论依据
    1. 策略梯度定理

13.2 策略提升定理(Policy Gradient Theorem)

  1. Settings
    1. episode
    2. γ = 1 \gamma=1 γ=1
    3. discrete action
  2. 背景
    1. state distribution μ ( s ) \mu(s) μ(s) ρ π ( s ) \rho^{\pi}(s) ρπ(s)
    2. performance measure J ( θ ) ≐ v π θ ( s 0 ) J(\boldsymbol{\theta}) \doteq v_{\pi_{\theta}}\left(s_{0}\right) J(θ)≐vπθ​​(s0​)
  3. PGT
    1. ∇ J ( θ ) ∝ ∑ s μ ( s ) ∑ a q π ( s , a ) ∇ π ( a ∣ s , θ ) \nabla J(\boldsymbol{\theta}) \propto \sum_{s} \mu(s) \sum_{a} q_{\pi}(s, a) \nabla \pi(a \mid s, \boldsymbol{\theta}) ∇J(θ)∝∑s​μ(s)∑a​qπ​(s,a)∇π(a∣s,θ)
      1. 比例系数可被learning rate代替
    2. ∇ θ J ( π θ ) = ∫ S ρ π ( s ) ∫ A ∇ θ π θ ( a ∣ s ) Q π ( s , a ) d a d s \nabla_{\theta} J\left(\pi_{\theta}\right)=\int_{\mathcal{S}} \rho^{\pi}(s) \int_{\mathcal{A}} \nabla_{\theta} \pi_{\theta}(a \mid s) Q^{\pi}(s, a) \mathrm{d} a \mathrm{d} s ∇θ​J(πθ​)=∫S​ρπ(s)∫A​∇θ​πθ​(a∣s)Qπ(s,a)dads

13.3 REINFORCEMENT: MC PG

  1. REINFORCEMENT算法
    1. 思路
      1. state distribution可以写成期望
      2. a可以凑成期望
      3. q可以用return Gt代替(无偏估计)
      4. 综上, 策略梯度可以写成期望中全部是随机变量的形式, 所以可以通过采样来估计期望
    2. 优点
      1. 无偏估计
    3. 缺点
      1. 由于使用MC
        1. 只适用于episode
        2. 方差大->学习慢 todo

13.4 REINFORCEMENT with baseline

  1. Gt可以减去bt可以减少方差, 并且不改变梯度的期望
  2. bt
    1. 满足与a无关
    2. 一般与s有关, V(s)
      1. 因为不同s的value不同
      2. 学习V(s)时用的MC方法, 而不是TD

13.5 Actor-Critic Methods

  1. 算法
    1. bootstrap critic 代替REINFORCE中的Gt
  2. 优点
    1. 适用于continue task
    2. 可以full-online(即one step, 不reuse transition)
      1. 注: MC不是full-online
    3. reduce variance -> accelerate learning todo

13.6 PG for continues problems

  1. PDT for continuing problems

13.7 policy parameterization for continous actions

  1. 同样可以有PGT

Summay

  1. AC算法
    1. natural-gradient methods
    2. DPG
    3. off-policy PG
    4. entropy
  2. References
    1. PG overview (2009)
xyp99
关注
专栏目录
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES利用量子波兹曼机进行强化学习
weixin_41697507的博客
07-07 1838
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES Abstract. We investigate whether quantum annealers with select chip layouts can outperform classical computers in reinforcement learning tasks. ...
【强化学习】04 ——动态规划算法
sinat_52032317的博客
09-29 1170
动态规划）是程序设计算法中非常重要的内容，能够高效解决一些经典问题，例如背包问题和最短路径规划。动态规划的基本思想是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到目标问题的解。最优子结构：最优解可以被分解为子问题。最优性原理适用：重叠子问题：子问题经常重复出现。解决方案可以被缓存和重复使用。马尔可夫决策过程符合这两个属性。贝尔曼方程提供了递归分解。价值函数存储和重用解决方案。基于动态规划的强化学习算法主要有两种：一是策略迭代。
4.动态规划--阅读笔记【Reinforcement Learning An Introduction 2nd】
木易进
08-23 650
文章目录动态规划前言策略评估/预测策略提升策略迭代值迭代异步动态规划广义策略迭代动态规划算法的效率问题总结 内容梳理： 本文主要讲解动态规划方法，首先讲解了策略评估用以计算值函数，然后提到了策略提升的方法，接着又提出了策略迭代的方法，针对策略迭代每次都要进行策略评估，且每次策略评估都要对状态集合中的所有状态进行更新，由此导致的训练时间成本大，故此提出了值迭代的方法。为了加快DP解决问题的速度，提出了ADP，最后提出了广义策略迭代的方法，并就DP算法的效率问题展开叙述。 动态规划 前言 DP这个术语可以用
强化学习之无模型方法一：蒙特卡洛
数据喵的博客
07-30 6780
无模型方法（model-free） 无模型方法是学习方法的一种，MDPs中如果P,R未知，则用无模型方法。该方法需要智能体与环境进行交互（交互的方式多样），一般采用样本备份，需要结合充分的探索。 由于未知环境模型，则无法预知自己的后继状态和奖励值，通过与环境进行交互然后观察环境返回的值。本质上从概率分布Pass′Pss′aP_{ss^{'}}^a和RasRsaR_s^a中进行采样。对于随机变量...
动手学强化学习（三）：动态规划算法 （Dynamic Programming）
与君共勉，一起学习
05-01 3640
强化学习基础篇（三）：动态规划算法 （Dynamic Programming）1. 简介2. 马尔可夫决策过程2.1 随机过程2.2 马尔可夫性质 1. 简介   动态规划（dynamic programming）是程序设计算法中非常重要的内容，能够高效解决一些经典问题，例如背包问题和最短路径规划。动态规划的基本思想是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到目标问题的解。动态规划会保存已解决的子问题的答案，在求解目标问题的过程中，需要这些子问题答案时就可以直接利用，避免重复计算
[归纳]强化学习导论 - 第四章：动态规划
一棵孤独的树
03-28 890
文章目录本章内容概要Policy Evaluation (Prediction)Policy ImprovementPolicy IterationValue IterationAsynchronous Dynamic ProgrammingGeneralized Policy IterationEfficiency of Dynamic ProgrammingSummary参考文献 本章内容概要...
【书籍阅读 Ch1&2】Reinforcement Learning An Introduction, 2nd Edition
这里是张聪明，正在学习中，请稍后
12-16 644
强化学习 书籍阅读 书籍下载链接：CSDN资源下载；BDYP下载链接 每一个目录对应的是在pdf的页数 [Elements] Page:27/548 Date:12/3 [Elements] Page:27/548 Date:12/3 一个强化学习系统应该具备四个元素： 1. policy (mapping from perceived states of the environment to actions ) 也就是environment -> states -> action polic
Deep Learning in Neural Networks: An Overview
凌风探梅的专栏
03-12 2779
FROM: http://people.idsia.ch/~juergen/deep-learning-overview.html Deep Learning in Neural Networks: An Overview Jürgen Schmidhuber  Pronounce: You_again Shmidhoobuh J. Schmidhuber. Deep Learni
Machine Learning and Data Mining（机器学习与数据挖掘）
weixin_30512785的博客
01-22 2222
Problems[show] Classification Clustering Regression Anomaly detection Association rules Reinforcement learning Structured prediction Feature engineering Feature learning Online lea...
Reinforcement learning an introduction中文pdf
08-25
Reinforcement learning an introduction中文pdf
reinforcement-learning-an-introduction-chinese:《强化学习
04-30
本项目为《Reinforcement Learning: An Introduction》（第二版）中文翻译，旨在帮助喜欢 强化学习（Reinforcement Learning）的各位能更好的学习交流。 中文在线阅读地址：《》 英文原版地址： 翻译进度： 第二版...
强化学习导论中文版 增强学习导论中文版 Reinforcement learning an introduction 中文版.
06-04
6. 深度强化学习（Deep Reinforcement Learning, DRL）：随着深度学习的发展，神经网络被用于估计Q值或策略函数，形成了深度Q网络（Deep Q-Network, DQN）和策略梯度等方法，解决了高维度状态空间的问题，实现了在...
Reinforcement Learning An Introduction.pdf
08-13
5. 深度强化学习（Deep Reinforcement Learning, DRL）：结合深度学习的强化学习，利用神经网络来近似复杂的策略和价值函数，如深度Q网络（Deep Q-Network, DQN）和演员-评论家算法（Actor-Critic）。 6. 强化学习...
[RL 2] Soft Q-learning
xyp99的博客
10-05 1156
作者想要提出一种最大化熵和并且expressive的policy, policy的分布形如π(a∣s)∼exp⁡(Qπ(s,a))\pi (a|s) \sim \exp (Q^\pi(s,a))π(a∣s)∼exp(Qπ(s,a)), 即energy-based的形式. 在定理1中, 作者定义了Q, V函数作者通过证明形如(17)形式的策略符合策略提升定理, 从而证明最优策略符合energy-based policy. 定理2, 指明了 ...
[RL 12] Multi-Agent Reinforcement Learning A Selective Overview of Theories and Algorithms
xyp99的博客
12-12 936
To be continued paper: Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms 4 MARL Algorithms with Theory Notation Markov Game = Stocastic Game Multi-Agent MDP = Markov Teams 4.1 Cooperative Setting 4.1.1 Homogeneous Agents
[RL 10] Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO (ICLR, 2020)
xyp99的博客
10-30 548
Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO (ICLR, 2020) 1 Introduction references for brittle DRL motivation how do the multitude of mechanisms used in deep RL training algorithms impact agent behavior thus the performa
[RL 15] QTRAN (ICML, 2019)
xyp99的博客
01-19 355
paper: QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement learning
reinforcement learning : an introduction
最新发布
12-14
强化学习是一种机器学习方法，它致力于教会智能体在一个动态环境中做出最优决策。在强化学习中，智能体通过不断与环境进行交互来学习，并且根据环境的反馈来调整自己的行为。 强化学习的一个核心概念是“奖励”，它是环境对智能体行为的评价。智能体的目标是通过选择能够最大化长期奖励累积的行为策略来学习。在学习的过程中，智能体通过试错和学习的方法逐步改进自己的决策策略。 强化学习涉及到很多基本元素，比如：状态、动作、策略和价值函数。状态是指代表环境的信息，动作是智能体可以执行的动作选择，策略是智能体根据当前状态选择动作的方法，价值函数是用来评估每个状态或动作的价值。这些元素相互作用，并通过学习算法来更新和改善，使得智能体能够做出更好的决策。 强化学习有很多不同的算法，其中最著名的是Q-learning和Deep Q-Network（DQN）。Q-learning是一种基于值函数的学习方法，它通过不断更新状态-动作对的价值来优化策略。而DQN则是在Q-learning的基础上引入了深度神经网络，使得智能体能够处理更复杂的环境和任务。 总之，强化学习是一种通过交互式学习来教会智能体做出最优决策的方法。它在许多领域有广泛的应用，比如人工智能、自动驾驶、游戏AI等。通过不断的试错和学习，智能体可以不断改进自己的行为策略，达到最优性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值