【百度飞桨强化学习7日打卡营】学习笔记 -- 第四课：基于策略梯度求解RL

最新推荐文章于 2021-05-21 11:05:55 发布
最新推荐文章于 2021-05-21 11:05:55 发布
阅读量317 收藏 1
点赞数 1
分类专栏： 强化学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39779233/article/details/106937377
版权

写在前面

本次课程是参加百度飞桨7日打卡营活动的第四天笔记。
课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1335

主要内容：策路近似、策路梯度
实践：Policy Gradient

一、Value-based 与 Policy-based 区别

Value-basedPolicy-based
区别1间接方式求action直接一步到位求action
区别2确定性策略：优化到最优后，参数就固定下来了。那么输入一样的状态会输出一样的action随机策略：根据概率来采样，概率越大，动作越容易被采样到

在这里插入图片描述
在这里插入图片描述

智能体的选择是我们可以去优化的策略，但是环境随机性的概率我们是不能控制的。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
为了使reward上升，我们引入梯度上升概念。
在这里插入图片描述

二、蒙特卡洛MC与时序差分TD

1.蒙特卡洛MC与时序差分TD区别

蒙特卡洛MC：算法完成一个episode之后，再那这个episode 的数据来去做一次 learn() 更新。注意这里的G_t(外加上标n) 是指当前步开始，我往后能拿到的收益之和。
时序差分TD：每个step都会进行learn() 更新，使用Q(外加上标n)来近似G_t(外加上标n)
在这里插入图片描述

2.Gt的计算

在这里插入图片描述

三、类比监督学习来理解Policy Gradient

手写数字识别，差不多算是神经网络里面的 “hello world”
在这里插入图片描述
在这里插入图片描述
用交叉熵来计算两个概率之间的差值。因为我们希望这两个动作概率分布之间的差距，所以计算得到的距离就可以作为 loss 传给神经网络里面的优化器进行优化。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

四、REINFORCE 算法

1.REINFORCE 算法原理

在这里插入图片描述

2.REINFORCE 流程图

在这里插入图片描述

3.REINFORCE 程序实现

在这里插入图片描述

五、总结

在这里插入图片描述
课后作业
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
最后附上一部分的公式推导过程：
在这里插入图片描述
在这里插入图片描述

课后作业

请按照notebook中说明，完成4处代码的补充和调试。预期效果：分数从-21开始逐渐上涨收敛，Test reward的分数可以收敛到0分以上（说明打败对方了），越高越好。

1.课后作业AI Studio运行效果

参照课上老师讲解和 PARL/examples/tutorials 里面的内容，填写完整 Notebook，并运行代码。（自己运行没有能训练到reward的分数 > 0）

在这里插入图片描述

2.课后作业本地运行效果

（本地运行，自己也没有能训练到reward的分数 > 0，可能自己的CPU太菜了 -_- ）

pip install paddlepaddle==1.6.3
pip install parl==1.3.1
pip install gym

git clone --depth=1 https://gitee.com/PaddlePaddle/PARL.git  # 下载PARL代码库
dir PARL # 查看代码库根目录
cd PARL #进入到 PARL 文件夹

## Step3 运行QuickStart
python examples/tutorials/lesson4/policy_gradient_pong/train.py

在这里插入图片描述

wongHome
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
飞桨深度学习学院 百度深度学习7日打卡第六期：Python小白逆袭大神 结营心得
12-21
在飞桨深度学习学院的百度深度学习7日打卡第六期活动中，参与者们经历了从Python小白到逐渐掌握深度学习基础知识的转变。课程设计丰富多样，涵盖了从人工智能基础到实践应用的多个层面，旨在帮助学员快速入门并提升...
REINFORCE
weixin_49346755的博客
04-21 1543
基本概念 强化学习问题的目标是依据策略执行一系列合适的动作以最大化累计回报。强化学习的算法主要分成三类：基于值函数的方法、基于策略的方法和两者结合的方法。也就是说，可以通过逼近值函数再利用ϵ−greedy\epsilon-greedyϵ−greedy策略间接的确定策略，也可以建立策略函数，将策略参数化，还可以结合这两类方法既学习值函数，又学习策略。 REINFORCE REINFORCE是一个基于策略的算法。使用策略梯度法将策略参数化，在策略梯度法中，策略经常用一个带参数集θ\thetaθ的函数表示：πθ(
百度七日强化学习笔记与心得体会
zhmiyo
06-25 359
基本概念： 什么是强化学习 强化学习（英语：Reinforcement learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。 核心思想：智能体agent在环境environment中学习，根据环境的状态state（或观测到的observation），执行动作action，并根据环境的反馈 reward（奖励）来指导更好的动作。 注意：从环境中获取的状态，有时候叫state，有时候叫observation，这两个其实一个代表全局状态，一个代表局部观测值，
强化学习课程学习（7）——基于策略梯度方法求解RL
Cecilia
06-22 830
在前面讲到的DQN系列强化学习算法中，我们主要对价值函数进行了近似表示，基于价值来学习。这种Value Based强化学习方法在很多领域都得到比较好的应用，但是Value Based强化学习方法也有很多局限性，因此在另一些场景下我们需要其他的方法，比如策略梯度(Policy Gradient)、Actor-Critic、Asynchronous Advantage Actor-critic(以下简称A3C)等。 整体来看下强化学习的分类： Value Based强化学习方法存在很多不足之处，主要体现以下几
强化学习PARL——4. 基于策略梯度方法求解RL
Castlehe的博客
01-19 458
基于价值的策略是一般是先计算出价值（比如Q 状态动作价值），根据价值去决定策略 Value-based的算法的典型代表为Q-learning和SARSA，将Q函数优化到最优，再根据Q函数取最优策略。 基于策略的则不再计算价值，直接输出动作概率，动作的选择不再依赖于价值函数，而是先根据一个策略走到底，最后根据最终的收益决定这个策略的好坏 Policy-based的算法的典型代表为Policy Gradient，直接优化策略函数。 第一个区别：基于价值的，是先求出最优的Q，然后去间接得到ac..
强化学习（三）--Reinforce算法
qq_37333048的博客
03-30 1万+
强化学习（三）--Reinforce算法1. Reinforce算法2. Reinforce算法的代码实现2.1 Main函数的实现2.2 神经网络的搭建（Net类的实现）2.3 测试函数(test_episode函数的实现)2.4 RF类的实现2.4.1 choose_action 函数2.4.2 store_transition函数2.4.3 learn函数3. Reinforce算法的效果展示 前两节的Q-learning和DQN算法都是强化学习中的Value-based的方法，它们都是先经过Q值来选
【paddlepaddle】《百度深度学习7日打卡营-Python小白逆袭AI大神》学习心得
12-21
就开始在AIStudio上学习相关的课程，也看到了很多往期的七天打卡营，自己认为自己不是一个学习比较自觉地人，所以一直想要参加打卡营，这样会给自己一个动力和约束。最后终于发现了这个打卡营。（这就是我与打卡营的...
百度飞桨学习——七日打卡作业(一)
12-21
在这个“百度飞桨学习——七日打卡作业(一)”中，我们主要关注的是如何使用Python编程语言输出9*9的乘法口诀表，并解决在print函数中换行的问题。这是一个基础的编程任务，旨在练习循环遍历和字符串格式化的技巧。 ...
技术心得笔记 ------深度学习7日打卡营
03-15
深度学习7日打卡营是一次由百度AI Studio主办的在线学习活动，专注于帮助初学者快速掌握深度学习基础知识，特别是使用PaddlePaddle框架。在这7天的学习过程中，参与者能够通过实际操作来提升技能，了解深度学习项目...
强化学习(十三) 策略梯度(Policy Gradient)
weixin_33709590的博客
12-18 1060
　　　　在前面讲到的DQN系列强化学习算法中，我们主要对价值函数进行了近似表示，基于价值来学习。这种Value Based强化学习方法在很多领域都得到比较好的应用，但是Value Based强化学习方法也有很多局限性，因此在另一些场景下我们需要其他的方法，比如本篇讨论的策略梯度(Policy Gradient)，它是Policy Based强化学习方法，基于策略来学习。 　　　　本文参考了Sutt...
RL策略梯度方法之(一): REINFORCE算法
热门推荐
qq_38293297的博客
09-22 1万+
本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。 文章目录原理解析基于值 的RL的缺陷策略梯度蒙特卡罗策略梯度REINFORCE算法REINFORCE简单的扩展：REINFORCE with baseline算法实现总体流程代码实现 原理解析 基于值 的RL的缺陷 基于价值的深度强化学习方法有它自身的缺点，主要有以下三点： 基于价值的强化学习无法很好的处理连续空间
【强化学习】Policy Gradient原理
小柴柴是也的博客
05-21 422
1.Policy Gradient和DQN系列强化算法最大的区别在于： DQN系列基于Value，也就是说执行完所有的动作并保存所得到的价值，根据这些价值计算出最优价值函数，并以此选择动作，最终获得一个特定的策略。 Policy Gradient基于策略来选择动作，Value Based方法中将动作价值函数进行近似，引入了一个动作价值函数q^，状态s和动作a为输入，价值函数输出，得到近似的动作价值。 PG中采用类似的思路，将策略表示成一个连续的函数之后，使用连续函数的优化方法寻找最优策略。 2.Policy
CS294(5) 策略梯度法（总结版）
KunBB的博客
09-15 1014
文章目录策略梯度法REINFORCEPartial observability问题一：高方差问题背景方差削减方法一：因果关系(causality)方法二：baseline问题二：on-policy问题问题三用自动差分器做策略梯度法策略梯度法在实践中的注意事项 我们已经知道智能体通过增强学习与环境打交道的运作机理： 状态sss下根据由参数θ\thetaθ的神经网络所表示的测量πθ(a∣s)\pi...
强化学习(六)——策略梯度Policy Gradient
乘风破浪2014
04-25 2332
本篇文章主旨不在从头讲述PG，而是通过综合别人的总结，写出自己的理解。按照指出的这些引用，消除那些疑惑的地方。 首先放一张图，先明确强化学习中有哪些方法，策略梯度又处在怎样的位置。 On-line代表，agent必须和环境交互，一边选取动作一遍学习；Off-line代表，agent既可以直接与环境交互进行学习，也可以从别人的经验里学习。 基础&入门了解PG：https://www.cnbl...
【百度AI强化学习系列】四、基于策略梯度求解RL（用PG解决Pong）
风月同天的博客
06-26 722
目录Policy Gradient公式推导期望回报优化目标与策略梯度项目练习（PG解决Pong）实战要求网络结构老师解决方案Github Policy Gradient 在强化学习中，有两大类方法，一种基于值（Value-based），一种基于策略（Policy-based），Policy Gradient属于后者。PG不需要想DQN那样对Q值进行拟合，它直接拟合出Agent下一步的动作，这就和端到端的神经网络一样，没有中间环节，如下图所示。 公式推导 期望回报 在一个Episode中。Agent的活动
强化学习打卡之策略梯度与PPO
weixin_41560321的博客
10-29 502
强化学习打卡之策略梯度与PPO Policy Gradient是基于策略的，不同于前面的算法输出是Q值，Policy Gradient的输出是动作概率值，使用 gradient ascent来实现 maximize expected reward，也就是调整 actor 内部的参数 θ， 使得 R 的值越大越好 实现的时候要注意两个tips Tip 1: Add a Baseline 原式子中的梯度值总是大于零的，同一状态下有的action没有被sample到，而被sample到的action概率增加，意味
【强化学习】策略梯度policy gradient原理
zkq_1986的博客
05-22 2312
R_theta的梯度为什么是R(t^n)grad(p(a_t|s_t,theta)？首先，我们来解释下grad(p(a_t|s_t,theta)是怎么来的。先看下面的一个分类问题。从上可知，分类的损失函数采用交叉熵，最小化交叉熵相当于最大化log(y_i)再来看为什么要乘上一个R(t^n)。从下面可知，乘上一个R(t^n)，说明回报越大的状态动作对将被训练的次数越多，即对策略theta的影响更多。...
[飞桨机器学习]梯度下降求解SVM
chenqianhe2的博客
03-19 575
[飞桨机器学习]梯度下降求解SVM 一、损失函数定义 我们令： 这是一个简单的线性回归的形式，此时我们来定义损失函数： 可以看到，这是一个通用的损失函数的形式，当损失函数l为二元交叉熵的时候，上面的L(x)表示的就是逻辑回归的损失函数，当损失函数l为mse的时候，上面的L(x)表示的就是线性回归的损失函数，当l为hinge loss的时候，上面的L(x)表示的就是线性svm的损失函数。 此时我们令 ,其中 为了简单起见我们令 那么这个时候我们就可以得到线性svm的损失函数了： ，L定义如上，这称
Reinforcement Learning - 策略梯度和近端策略优化（PPO)
小白cvnice的博客
10-27 1263
策略梯度（Policy Gradient） 在 reinforcement learning 中有 3 个components，actor，environment，reward function。 举例子说明 让机器玩 video game 时， actor 做的事情就是去操控游戏的摇杆， 比如说向左、向右、开火等操作； environment 就是游戏的主机， 负责控制游戏的画面负责控制说，怪物要怎么移动， 你现在要看到什么画面等等； reward function 就是当你做什么事情，发生什么状况的
data = [ {'日期': '2023-06-10', '开始时间': '2023-06-10 16:27:00', '结束时间': '2023-06-10 17:39:00'}, {'日期': '2023-06-11', '开始时间': '2023-06-11 01:57:00', '结束时间': '2023-06-11 02:02:00'}, {'日期': '2023-06-11', '开始时间': '2023-06-11 15:57:00', '结束时间': '2023-06-12 01:51:00'}, {'日期': '2023-07-01', '开始时间': '2023-07-01 08:09:00', '结束时间': '2023-07-01 17:25:00'}, {'日期': '2023-07-01', '开始时间': '2023-07-01 17:32:00', '结束时间': '2023-07-01 17:41:00'} ] 如何使用python找到正确的上下班打卡时间，如6月10日上班时间为2023-06-10 16:27:00，下班时间为2023-06-11 02:02:00，6月11日上班时间为2023-06-11 15:57:00，下班时间为2023-06-12 01:51:00，7月1日上班时间为2023-07-01 08:09:00，下班时间为2023-07-01 17:41:00
最新发布
07-15
要找到正确的上下班打卡时间，你可以按照以下步骤进行： 1. 遍历打卡数据列表。 2. 对于每个打卡记录，将日期、开始时间和结束时间转换为`datetime`对象。 3. 如果结束时间小于开始时间，说明存在跨天的情况，需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值