强化学习-策略梯度和PPO

已于 2022-08-26 00:39:02 修改
阅读量1.2k 收藏
点赞数
分类专栏： 强化学习 文章标签： 深度学习 人工智能
于 2022-08-26 00:17:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46714700/article/details/126534856
版权

强化学习中的策略梯度（Policy Gradient）

强化学习和深度学习中的策略梯度不同点

用分类问题来解释
在做分类的问题时，要有输入和正确的输出，要有训练数据。而这些训练数据是从采样的过程来的。假设在采样的过程里面，在某一个状态，你采样到你要采取动作 a， 你就把这个动作 a 当作是你的 ground truth。你在这个状态，你采样到要向左。 本来向左这件事概率不一定是最高， 因为你是采样，它不一定概率最高。假设你采样到向左，在训练的时候，你告诉机器说，调整网络的参数， 如果看到这个状态，你就向左。在一般的分类问题里面，其实你在实现分类的时候，你的目标函数都会写成最小化交叉熵(cross entropy)，其实最小化交叉熵就是最大化对数似然(log likelihood)。
做分类的时候，目标函数就是最大化或最小化的对象， 因为我们现在是最大化似然(likelihood)，所以其实是最大化， 你要最大化的对象，如下式所示:
在这里插入图片描述

像这种损失函数，你可在 TensorFlow 里调用现成的函数，它就会自动帮你算，然后你就可以把梯度计算出来。这是一般的分类问题，RL 唯一不同的地方是 loss 前面乘上一个权重：整场游戏得到的总奖励 R，它并不是在状态 s 采取动作 a 的时候得到的奖励，如下式所示：

最低0.47元/天 解锁文章
数据铁人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
策略梯度方法：PPO的算法基石
AGI通用人工智能之禅
04-28 44
1. 背景介绍 1.1 强化学习的兴起 近年来，强化学习(Reinforcement Learning, RL) 在人工智能领域取得了显著的进展，例如AlphaGo战胜围棋世界冠军、OpenAI Five 在 Dota 2 中战胜人类职业玩家等等。强化学习的目标是训练智能体(agent) 在复杂环境
策略梯度算法PPO+代码解读
10-17
策略梯度算法PPO+代码解读
【强化学习】策略梯度（Policy Gradient）
Judy18的博客
11-15 5994
策略梯度基本知识 强化学习主要分为两类： 基于价值的（如Sarsa、Q-Learning 和 DQN 算法），先计算每个状态对应的动作的 Q 值，再选择 Q 值最大的动作执行。 基于策略的：直接计算每个状态对应的动作或者动作的概率。 Policy Gradient 算法就是对策略函数进行建模，然后用梯度下降更新网络的参数。但是在强化学习中并没有实际的损失函数，而 PG 算法的目的是最大化累计奖励的期望值，因此将累计奖励的期望值作为损失函数，使用梯度上升算法来进行计算。 策略梯度公式 每一个..
【强化学习】Policy Gradient（策略梯度）算法详解
谁最温柔最有派
04-21 1万+
1 Policy Gradient简介 1.1 基于策略和基于值的强化学习方法不同 强化学习是一个通过奖惩来学习正确行为的机制。家族中有很多种不一样的成员，有学习奖惩值，根据自己认为的高价值选行为，比如Q-Learning，Deep-Q-network，也有不通过分析奖惩值，直接输出行为的方法，这就是今天要说的Policy Gradient加上一个神经网络来输出预测的动作。对比起以值为基础的方法，Policy Gradient直接输出动作的最大好处就是，他能在一个连续区间内挑选动作，而基于值的，比如Q-Le
【强化学习】12 —— 策略梯度（REINFORCE ）
sinat_52032317的博客
10-30 592
之前在【强化学习】09——价值和策略近似逼近方法中讨论过使用参数θ\thetaθ来近似价值函数VVV或状态价值函数QQQVθs≈VπsQθsa≈QπsaVθ​sQθ​sa​≈Vπs≈Qπsa​之后，再通过价值函数推导出相应的策略（比如利用ϵ\epsilonϵ-贪婪策略）。本节将主要讨论直接参数化策略的方法πθsaπθ​sa。策略可以是确定性的——aπθsaπθ​s，也可以是随机的——
第三章 策略梯度及 PPO 算法
qq_41491023的博客
10-29 1617
Policy Gradient Policy Gradient 在 reinforcement learning 中有 3 个components，一个actor，一个environment，一个reward function。 让机器玩 video game 时， actor 做的事情就是去操控游戏的摇杆， 比如说向左、向右、开火等操作； environment 就是游戏的主机， 负责控制游戏的画面负责控制说，怪物要怎么移动， 你现在要看到什么画面等等； reward.
深度强化学习(七)策略梯度
最新发布
weixin_54255111的博客
03-16 909
深度强化学习(七)策略梯度 策略学习的目的是通过求解一个优化问题，学出最优策略函数或它的近似函数（比如策略网络） 一.策略网络 假设动作空间是离散的,，比如A={左,右,上}\cal A=\{左,右,上\}A={左,右,上}，策略函数π\piπ是个条件概率函数： π(a∣s)=P(A=a∣S=s) \pi(a\mid s)=\Bbb P(A=a\mid S=s) π(a∣s)=P(A=a∣S=s) 与DQNDQNDQN类似，我们可以用神经网络π(a∣s;θ)\pi(a \mid s ; \boldsymb
深度强化学习算法-Proximal Policy Optimization (PPO)v3.pdf
02-09
深度强化学习，策略梯度算法，openAI默认深度强化学习算法。
PPO近端策略优化.关于PPO深度强化学习的理论介绍，全部数学公式使用mathtype编辑，非截图模式。
03-24
PPO算法是由OpenAI提出的一种新的策略梯度算法，其实现复杂度远低于TRPO算法。PPO算法主要包括两种实现方法，第一种通过CPU仿真实现的，第二种通过GPU仿真实现的，其仿真速度是第一种PPO算法的三倍以上。此外，与...
DRL-2018:结合策略梯度方法（香草PG，Actor-Critic，PPO）和进化策略的实验
03-22
在此项目中，我们尝试将“策略梯度”方法（香草策略梯度（aka REINFORCE），Actor-Critic和PPO）与“进化策略”相结合，以设计出一种提高样本效率的混合算法。 在MuJoCo基准上评估了所提出算法的性能。 参考： ...
deep_rl_pong_keras:深度强化学习策略梯度方法-乒乓球游戏-Keras
05-13
深度强化学习指南（与Keras和OpenAi体育馆一起使用） 使用Keras和OpenAi体育馆进行深度强化学习策略梯度方法的分步教程。 在这个简短的项目中，我们将使用强化学习算法（策略梯度方法-REINFORCE）训练神经网络玩Pong游戏。 如果要运行它，则只需克隆存储库，然后打开钢筋_learning_pong_keras_policy_gradients.ipynb ，然后阅读并运行笔记本 我们训练了一个简单的200个隐藏的神经元网络和一个卷积模型。 简单网络的示例播放： 简单网络玩游戏的视频（ ）： 卷积网络玩游戏的视频（ ）： 考虑到有限的时间和出于学习目的，我并不是要寻找一个受过良好训练的代理，但我希望这个项目可以帮助人们熟悉rl算法和keras的基本过程。 上面的视频花了3天时间让代理在慢速的计算机上学习。 为了获得生产结果，需要更多的培训和调整，这不是我
PPO-for-Beginners:一个简单且样式良好的PPO实施。 根据我的中号系列
05-07
我编写此代码的前提是您具有Python和强化学习（RL）的经验，包括策略梯度（pg）算法和PPO的工作原理（对于PPO，应该只熟悉理论水平。毕竟，此代码应帮助您将PPO付诸实践）。 如果您不熟悉RL，pg或PPO，请按以下三个...
【强化学习】PPO(Proximal Policy Optimization)近端策略优化算法
热门推荐
shura的技术空间
01-11 8万+
morvan zhou教学视频https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-4-DPPO/ Hung-yi Lee课程http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html PPO论文https://arxiv.org/abs...
强化学习算法介绍
sinat_28375239的博客
06-02 199
强化学习算法介绍 对比学习一： sarsa Q-learning DQN policy gradient DDPG Actor-Critic Soft Actor-Critic A3C PPO 离散：DQN 连续：DDPG
中科院自动化所介绍深度强化学习进展：从AlphaGo到AlphaGo Zero
人工智能学家
01-31 1万+
来源：德先生概要：2016年初，AlphaGo战胜李世石成为人工智能的里程碑事件。其核心技术深度强化学习受到人们的广泛关注和研究，取得了丰硕的理论和应用成果。深度强化学习进展:  从AlphaGo到AlphaGo Zero唐振韬, 邵坤, 赵冬斌 , 朱圆恒中国科学院 自动化研究所 复杂系统管理与控制国家重点实验室, 北京 100190中国科学院大学, 北京 100190摘要: 2016年初，Al
【7】强化学习之策略梯度（Policy Gradient）
weixin_42863507的博客
01-05 1009
fdsf
强化学习打卡之策略梯度与PPO
weixin_41560321的博客
10-29 483
强化学习打卡之策略梯度与PPO Policy Gradient是基于策略的，不同于前面的算法输出是Q值，Policy Gradient的输出是动作概率值，使用 gradient ascent来实现 maximize expected reward，也就是调整 actor 内部的参数 θ， 使得 R 的值越大越好 实现的时候要注意两个tips Tip 1: Add a Baseline 原式子中的梯度值总是大于零的，同一状态下有的action没有被sample到，而被sample到的action概率增加，意味
强化学习之策略梯度及PPO算法
qq_44898314的博客
07-19 276
在一个试验里，环境是一个函数，该函数一开始会输出一个状态s，演员看到输出状态后会突出行为a，把环境输出的s与演员输出的行为a串起来，称为一个轨迹；agent的行为由演员自己控制，随着行为的不同，同样的轨迹，会有不同的出现概率。1.两者更新频率不同，蒙特卡洛强化学习方法是每个episode更新一次，需要经历完整的状态序列后再更新，时序差分是每个step更新一次，时序差分更新频率更快；环境和奖励函数是在开始之前事先给定的，能做的是调整策略使演员得到最大的奖励，策略决定了演员的行为。###演员跟环境的互动。...
基于策略梯度的强化学习算法
03-16
基于策略梯度的强化学习算法是一类常用的强化学习算法，它通过直接优化策略函数来学习最优策略。下面是对基于策略梯度的强化学习算法的介绍： 1. 策略函数：在基于策略梯度的算法中，策略函数是一个将状态映射到动作的函数。它可以是参数化的，例如神经网络，也可以是非参数化的。 2. 策略梯度：策略梯度是指根据当前策略函数的参数计算出的梯度。通过最大化策略梯度，可以使得策略函数朝着能够获得更高回报的方向更新。 3. 策略评估：在每个时间步，基于策略梯度的算法会根据当前策略函数与环境进行交互，收集一系列的状态、动作和回报。这些数据被用来估计策略函数的性能。 4. 策略改进：通过使用策略梯度的估计值来更新策略函数的参数，从而改进策略。常用的更新方法包括梯度上升和优化算法（如Adam、SGD等）。 5. 算法种类：基于策略梯度的强化学习算法有很多种，其中比较常见的包括REINFORCE、Proximal Policy Optimization (PPO)、Trust Region Policy Optimization (TRPO)等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值