深入浅出强化学习编程实战——第七章笔记2

最新推荐文章于 2021-08-15 09:48:31 发布
最新推荐文章于 2021-08-15 09:48:31 发布
阅读量187 收藏
点赞数
分类专栏： 深入浅出强化学习编程实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42031142/article/details/119191735
版权

深入浅出强化学习编程实战(第7章) -- 策略梯度方法2算法实战

一、回顾

策略梯度基本思想详见：我的上一篇博客

这篇博客提到策略梯度的基本思想：

1、参数化策略

2、找到目标函数

3、通过优化目标函数找到最优策略

最终得到的目标函数的梯度为：

二、REINFORCE算法

本篇博客的目标是介绍一个利用该梯度公式来找到最优策略的一个算法：REINFORCE算法

 2.1  梯度变形

观察上面梯度公式，内层累加时，每个t对应的

 需要乘以整条轨迹的累计奖励，然而当前t时刻的动作其实和过去的奖励是没有关系的，所以该公式可以改成：

这相当于引入了因果性。同时另一个好处是可以减小方差。

2.2  算法详情

分析：如图中算法所示，利用给定策略采样一条轨迹， 对每个时刻对应的

都乘以t时刻以后可以得到的奖励和，这里用Vt表示。

将第二层的for循环全部累加，可以得到

  

        该算法和 2.1节的变形后的梯度公式是一样的。不同的是，这里只采样一条轨迹，即公式中的m=1。

所以引出了本书第二个算法。基于REINFORCE的批策略梯度算法

2.3  基于REINFORCE的批策略梯度算法

算法详见课本，区别在于从采样一条轨迹变成了采样N条轨迹，使得其完全符合变形后的梯度公式

3、算法实现

3.1 离散动作环境下的实现

离散动作的实现依赖于softmax函数

Mr_Wang_up
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《深入浅出强化学习编程实战》鸳鸯系统（策略迭代）
weixin_38594096的博客
11-02 334
import random import time from testyuanyang import YuanYangEnv class DP_Policy_Iter: def __init__(self,yuanyang): self.states=yuanyang.states self.actions=yuanyang.actions self.v=[0.0 for i in range(len(self.states)+1)] .
《深入浅出强化学习编程实战》鸳鸯系统代码+详细注释
weixin_38594096的博客
11-02 3113
https://download.csdn.net/download/weixin_38594096/36407777https://download.csdn.net/download/weixin_38594096/36407777仅靠书中的代码是不能运行的，会提示无法load_bird_male() 需要下载上面链接中的文件，才可以，里面包括源码+resource（图片文件）+load.py import pygame from load import * import math import
深入浅出强化学习编程实战（1）
qq_44418340的博客
06-22 1394
书本代码： 前11章的代码链接为：https://github.com/Teacher-Guo/RL_code 后2章的代码链接为：https://github.com/junxiaosong/AlphaZero_Gomoku 主体代码： 代码框架：
【深入浅出强化学习-编程实战】1 多臂赌博机
qq_43058281的博客
03-16 453
# 多臂赌博机 import numpy as np import matplotlib.pyplot as plt class KB_Game: def __init__(self,*args,**kwargs): # 属性 # q 每个臂的平均回报，假设臂的数目是3，初始值都为0.0 self.q = np.array([0.0,0.0,0.0]) # action_counts 摇动每个臂的次数，初始值为0 se
深入浅出强化学习编程实践-01多臂赌博机
qq_44327865的博客
10-20 404
深入浅出强化学习编程实践-01多臂赌博机 import numpy as np import matplotlib.pyplot as plt class KB_Game: # 初始化 def __init__(self, *args, **kwargs): self.q = np.array([0.0, 0.0, 0.0]) # 每个臂的平均回报，假设臂的数目为3个，初始值都为0 self.action_counts = np.array([0, 0,
MFC 深入浅出 + 学习笔记
07-31
总的来说，"深入浅出MFC"的学习资源可以帮助开发者从基础到高级全面了解MFC，通过实例和笔记加深理解，从而更高效地开发Windows应用程序。无论是初学者还是有一定经验的程序员，都能从中受益，提升自己的MFC编程能力...
TensorFlow2深度学习实战(共7章)第2章 TensorFlow 2快速入门.pdf
06-27
TensorFlow2深度学习实战(共7章)第2章 TensorFlow 2快速入门.pdfTensorFlow2深度学习实战(共7章)第2章 TensorFlow 2快速入门.pdfTensorFlow2深度学习实战(共7章)第2章 TensorFlow 2快速入门.pdfTensorFlow2深度学习...
【精品分享】《Python编程从入门到实践》学习笔记——第二章 变量和简单数据类型
12-20
第七章“while循环”将讲述重复执行代码的循环结构，第八章“函数”教你如何编写可重用的代码段。第九章“类”引入面向对象编程的概念，第十章“文件和异常”涉及读写文件和处理程序运行时可能出现的问题。 通过这...
深入浅出MySQL-读书笔记byCZF
06-14
深入浅出MySQL-读书笔记byCZF深入浅出MySQL-读书笔记byCZF深入浅出MySQL-读书笔记byCZF
深入浅出Docker 读书笔记（五）
01-07
第12章 Docker 网络 Docker 在容器内部运行应用，这些应用之间的交互依赖于大量不同的网络，这意味着 Docker 需要强大的网络功能。幸运的是Docker 对于容器之间、容器与外部网络和 VLAN 之间的连接均有相应的解决...
深入浅出强化学习
11-19
深入浅出强化学习：原理入门 《深入浅出强化学习：原理入门》用通俗易懂的语言深入浅出地介绍了强化学习的基本原理，覆盖了传统的强化学习基本方法和当前炙手可热的深度强化学习方法。开篇从最基本的马尔科夫决策过程入手，将强化学习问题纳入到严谨的数学框架中，接着阐述了解决此类问题最基本的方法——动态规划方法，并从中总结出解决强化学习问题的基本思路：交互迭代策略评估和策略改善。基于这个思路，分别介绍了基于值函数的强化学习方法和基于直接策略搜索的强化学习方法。最后介绍了逆向强化学习方法和近年具有代表性、比较前沿的强化学习方法。 除了系统地介绍基本理论，书中还介绍了相应的数学基础和编程实例。因此，《深入浅出强化学习：原理入门》既适合零基础的人员入门学习、也适合相关科研人员作为研究参考。
《深入浅出机器学习》之强化学习
01-27
本文来自于简书，本文章主要通过举例来论证机器学习算法，通过矩阵进行强化学习介绍。所谓强化学习就是智能系统从环境到行为映射的学习，以使奖励信号(强化信号)函数值最大。如果Agent的某个行为策略导致环境正的奖赏(强化信号)，那么Agent以后产生这个行为策略的趋势便会加强 -《百科》
强化学习策略梯度
04-02
Cart Pole ，Grid World ，Mountain Car ，Pendulum，Toy
深入浅出强化学习编程实战——第七章笔记
qq_42031142的博客
04-26 517
深入浅出强化学习编程实战(第7章) ---策略梯度方法 一、缘由 1、概述 RL的目的是找到一种可以得到最大累计奖励的策略，其中有两大思路： (1) 基于值的方法：基本思路是根据与环境交互，利用算法，计算得到状态值V和状态行为值Q，然后根据V&Q利用贪婪策略或其他策略来求出最终的Agent的策略。 (2) 基于策略的方法：不同于值方法，策略方法不需要计算V&Q，而是利用算法直接根据状态计算得到策略。 通俗来讲，基于值的方法为：，而基于策略的方法为：。...
强化学习入门——1 基于《深入浅出强化学习——编程实践》
titan__的博客
08-15 295
鸳鸯环境类的搭建代码 1.YuanYang_Env.py import pygame import random import numpy as np from 深入浅出强化学习_编程实践.图片库.Colour_Tipriest import * class YuanYangEnv: def __init__(self): self.states = [] for i in range(100): self.states.append(
深入浅出强化学习（2）
fangting的博客
03-16 630
时间差分方法结合了蒙特卡罗的采样方法（即做试验）和动态规划方法的bootstrapping(利用后继状态的值函数估计当前值函数)。 蒙特卡罗要等到实验结束才能有Gt，太慢。 其中Rt+1+γV(St+1)R_{t+1}+\gamma V\left(S_{t+1}\right)Rt+1​+γV(St+1​)称为TD目标，与（4.2）中的GtG_tGt​相对应，两者不同之处是TD目标利用了boo...
【深入浅出强化学习-编程实战】3 基于动态规划的方法-鸳鸯系统
qq_43058281的博客
03-18 829
line 244 pygame.draw.rect(self.viewer,[255,0,0],[rec_position[0],rec_position[1],120,90],3) 原型：pygame.draw.rect(Surface, color, Rect, width=0): return Rect 用途：在Surface上绘制矩形，第二个参数是线条（或填充）的颜色，第三个参数Rect的形式是((x, y), (width, height))，表示的是所绘制矩形的区域，其中第一个元组(x,.
【深入浅出强化学习-编程实战】 8 Actor-Critic-Pendulum(单摆系统)
qq_43058281的博客
03-30 999
【深入浅出强化学习-编程实战】 8 Actor-Critic-PendulumPendulum单摆系统MDP模型TD-AC算法TD-AC算法代码解析 Pendulum单摆系统MDP模型 该系统只包含一个摆杆，其中摆杆可以绕着一端的轴线摆动，在轴线施加力矩τ\tauτ来控制摆杆摆动。 Pendulum目标是：从任意状态出发，施加一系列的力矩，使得摆杆可以竖直向上。 状态输入为s=[θ,θ˙]s=[\theta,\dot{\theta}]s=[θ,θ˙] 动作空间为τ∈[−2,2]\tau\in[-2,2]τ
【深入浅出强化学习-编程实战】6 基于函数逼近的方法-鸳鸯系统
qq_43058281的博客
03-23 509
【深入浅出强化学习-编程实战】6 基于函数逼近的方法-鸳鸯系统6.1 鸳鸯系统——基于函数逼近的方法代码困惑 6.1 鸳鸯系统——基于函数逼近的方法 左上为雄鸟，右上为雌鸟，中间有两道障碍物。目标：雄鸟找到雌鸟。 代码困惑 LFA_RL.py——line 21 phi_s_a[0,100*a+s] = 1 这是是想说这是个one-hot的矩阵，不应该是phi_s_a[a,s]=1吗？ LFA_RL.py——line 110 [0,0]*np.transpose(self.feature_tr(s,
java学习笔记整理
08-07
首先从第一章开始，我们了解到Java是一种计算机编程语言，也是一种软件开发平台和运行平台。Java有三个主要版本：Java标准版(JSE)，Java缩微版(JME)，和Java企业版(JEE)，它们之间有着各自特定的应用领域。Java具有...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值