强化学习7日打卡营-Policy Gradient/DDPG

最新推荐文章于 2022-06-07 19:53:44 发布
最新推荐文章于 2022-06-07 19:53:44 发布
阅读量265 收藏 1
点赞数 1
文章标签： 强化学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43585812/article/details/106968467
版权

基于策略梯度方法求解RL

value-based vs policy-based

Value-based 是基于价值的，属于一种确定性策略
在计算时优化Q的值然后把Q网络调到最优以后用间接方式输出action，属于确定性的策略。
policy-based 是基于策略的，属于一种随机策略
policy-based使用神经网络拟合直接输出动作1概率，适用于随机性比较大的环境。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Softmax函数
把多个神经元输出，映射到一个（0,1）的区间中去，可以看成是一个概率，概率相加和为1。
在这里插入图片描述
Episode幕
优化的目的是为了让每一幕（一轮游戏）输出的reward尽可能大。
轨迹
在这里插入图片描述
在这里插入图片描述
通过求出来他的平均回报值，来判断该策略的好坏。

因为策略轨迹太多了是无穷的所以采用了采样的方式来获取，当数据样本足够大的时候就可以近似为平均回报。
优化策略
在这里插入图片描述
优化目标：Q的预测值和Q的预期值进行对比要求Loss越低越好，是梯度下降问题。
在这里插入图片描述
优化目标：更大的收益。通过多条轨迹计算梯度网络，是梯度上升问题。
策略梯度
在这里插入图片描述
在这里插入图片描述
蒙特卡洛 MC：回合结束更新
时序差分TD：单步更新，即每一步都更新

连续动作空间上求解RL

连续动作 vs 离散动作
离散型动作概率输入神经网络通过softmax函数获得一个概率，并且加和为一。

连续的动作概率输入神经网络通过tanh函数进行映射使得数据被限制在在[-1,1]之间。通过实际要求做缩放再给环境。
在这里插入图片描述

随机型策略：通过神经网络获得一个最佳的概率输出的值不少固定的是一个概率（所有概率之和为一）
确定性策略：通过神经网络以后经过训练，只要再输入相同的值输出的结果是固定的。
在这里插入图片描述

DDPG(Deep Deterministic Policy Gradient)

DDPG在原先DQN的基础上添加了一个策略网络，使得机器一边学习网络一边学习策略，称为Actor-Critic结构，他需要通过Q网络的结果来调整自己的策略，不断更新自己的值，Q网络则需要通过环境的反馈进行调整 不断改变结果，尽可能的获得更高的收益。在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

PARL DDPG代码

在这里插入图片描述

昱儿是个电子
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
人工智能-强化学习-DDPG-demo
03-05
DDPG（Deep Deterministic Policy Gradient）是强化学习中的一种算法，用于解决连续动作空间的问题。这个"人工智能-强化学习-DDPG-demo"是一个演示项目，旨在帮助理解并应用DDPG算法。 DDPG算法是基于Actor-Critic...
什么是 Deep Deterministic Policy Gradient (DDPG) (Reinforcement Learning 强化学习)
08-30
什么是_Deep_Deterministic_Policy_Gradient_(DDPG)_(Reinforcement_Lea
什么是 Deep Deterministic Policy Gradient (DDPG)
weixin_42974513的博客
06-20 872
什么是 Deep Deterministic Policy Gradient (DDPG) DDPG 最大的优势就是能够在连续动作上更有效地学习. 将DDPG进行拆分：如上图所示，我们将 DDPG 分成 ‘Deep’ 和 ‘Deterministic Policy Gradient’, 然后 ‘Deterministic Policy Gradient’ 又能被细分为 ‘Deterministi...
强化学习7日打卡营----学习心得
cgq081616的专栏
06-21 393
非常感谢百度带我进入强化学习的世界里，让我了解强化学习的理论以及实践，通过科科老师讲解以及实验作业，从一个小白慢慢的变成强化学习入门初学者。 课程入口：https://aistudio.baidu.com/aistudio/education/group/info/1335 课程从入门到高级，一步步带你了解强化学习世界，从Sarsa 到Q-learning，到深度学习DQN以及连续动作DDPG。 强化学习（英语：Reinforcement learning，简称RL）是机器学习中的一个领域，强调如何基
百度强化学习7日打卡营心得
TheLittleBee的博客
06-26 460
最近参加了百度强化学习7日打卡营，从只是听说过Q-learning、AlphaGo的完全小白，到可以自己实现几个经典强化学习算法，并且使用百度PARL框架实现强化学习解决Pong游戏和四旋翼悬停。这次的7日打卡营让我快速入门强化学习，了解到几个经典强化学习算法并且动手实现，还是颇有收获的。在此也给百度PARL框架（Github）打个广告，PARL框架已经实现并封装好几个经典强化学习算法，如Q-learning、DQN、Policy Gradient、DDPG、PPO等，让开发者们可以专注于网络Model和A
机器学习与深度学习系列连载： 第三部分 强化学习（十六) 深度强化学习- Pathwise Derivative策略梯度
Doctor Wu的博客
12-09 2708
Pathwise Derivative策略梯度 我们在使用Critic（评估价值）的过程中，传统的方法只是给一个评估的值得大小，我们利用评估的值，采取增加倾向于评估值大的action的概率。 但是如果Critic不但给出对于action的评价，而且给出actor下一步的建议呢。（就像老师不但把我们作业批改了，然后还给出了怎么做好作业的建议，而传统的Critic知只是一个能给我们批改作业的老师，但...
强化学习（二）：Policy Gradient理解
suai9292的博客
04-12 8398
上一章已经介绍了基于值函数方法的简单的DQN的理解，而在深度强化学习领域另一种基于端到端思路的策略梯度（Policy Gradient）算法相较而言可能取得更好的结果，也更加方便理解。于是，本章我们就从有监督学习和强化学习的区别开始讲起，探讨策略梯度思想指导下的强化学习理念的简单理解。在之前的章节：强化学习(一)：简单的DQN理解中，我们已经了解到使用值函数的方法进行强化学习的本质是需要通过奖励的...
code - lecture 7 - policy gradient_policy_Reinforcement_policygr
08-09
在本次"code - lecture 7 - policy gradient_policy_Reinforcement_policygr"的主题中，我们将深入探讨策略梯度算法及其在强化学习中的应用。 强化学习是一种机器学习方法，其中智能体通过与环境交互来学习最大化...
code - lecture 7 - policy gradient-源码.rar
10-10
【描述】提到的是"code - lecture 7 - policy gradient-源码.rar"，这表明你可能找到了一个关于策略梯度算法的第七堂课的源代码。这个压缩包可能包含了一个实现策略梯度算法的Python项目，用于教学或示例目的。源...
code - lecture 7 - policy gradient源码.zip
09-29
在本讲义中，我们将深入探讨强化学习领域中的Policy Gradient方法。Policy Gradient是解决连续动作空间问题的一种常用算法，尤其适用于那些无法通过离散化处理的复杂环境。它通过优化策略函数来直接寻找最佳策略，而...
强化学习13 —— Deep Deterministic Policy Gradient（DDPG）算法原理与 tensorflow 2.0 实现
靡不有初鲜克有终
08-22 6810
上篇文章介绍了强化学习——Actor-Critic算法详解加实战 介绍了Actor-Critic，本篇文章将介绍 DDPG 算法，DDPG 全称是 Deep Deterministic Policy Gradient（深度确定性策略梯度算法） 其中 PG 就是我们前面介绍了 Policy Gradient，在强化学习10——Policy Gradient 推导 已经讨论过，那什么是确定性策略梯度呢？ 一、确定性策略 与确定性策略对应的是随机性策略，就是神经网络输出的是动作的分布，在确定每一步动作时，我们需要
PolicyGradientMethods-强化学习
Mystery
12-26 270
文章目录Neural network as ActorGradient AscentMonte Carlo Policy GradientAdd a BaselineCriticActor-CriticTipsA3CPathwise Derivative Policy Gradient Neural network as Actor 用一个Actor(Policy)玩游戏，在一个episode中...
强化学习DDPG算法
有点傻的小孩的博客
06-07 1944
强化学习DDPG算法 前言 因为疫情一直在辗转隔离，没心思学习，索性整理一下学过的东西，就当自我安慰了。 DDPG 基本原理 流程图 一些小细节 局限性
【强化学习】Deep Deterministic Policy Gradient(DDPG)算法详解
谁最温柔最有派
04-22 7992
1 DDPG简介 DDPG吸收了Actor-Critic让Policy Gradient 单步更新的精华，而且还吸收让计算机学会玩游戏的DQN的精华，合并成了一种新算法，叫做Deep Deterinistic Policy Gradient。那DDPG到底是什么样的算法呢，我们就拆开来分析，我们将DDPG分成’Deep’和’Deterministic Policy Cradient’又能被细分为’Deterministic’和’Policy Gradient’，接下来，我们开始一个一个分析。 1.1 Dee
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想
zhangxiaolil的博客
11-05 2365
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想 强化学习的五大要素： State、Action、Reward、Discount factor （r）、P 转移概率。 Q-Learning思想过程 Q-learning是强化学习中基于价值的算法，是一种off-policy、免模型策略。 Q-Learning就是在环境的某一个时刻的状态(state)下，采取动作集中的一个动作a能够获得收益的期望，环境会根据agent的动
深度强化学习（Deep Reinforcement Learning）入门：RL base & DQN-DDPG-A3C introduction
weixin_33980459的博客
04-29 949
转自https://zhuanlan.zhihu.com/p/25239682 过去的一段时间在深度强化学习领域投入了不少精力，工作中也在应用DRL解决业务问题。子曰：温故而知新，在进一步深入研究和应用DRL前，阶段性的整理下相关知识点。本文集中在DRL的model-free方法的Value-based和Policy-base方法，详细介绍下RL的基本概念和Value-based DQN，Pol...
【RL】--Value-Based与Policy-Based的区别
xgyyxs的博客
12-03 8926
1. 生成policy上的差异：一个随机，一个确定 Value-Base 中的 action-value估计值最终会收敛到对应的true values（通常是不同的有限数，可以转化为0到1之间的概率），因此通常会获得一个确定的策略（deterministic policy） Policy-Based不会收敛到一个确定性的值，另外他们会趋向于生成optimal stochastic policy。如...
DRL实战：DDPG & A3C | Gym环境中经典控制问题Pendulum-v0
热门推荐
chy的博客
08-05 1万+
倒立摆问题是控制文献中的经典问题。
深度确定性策略梯度（DDPG）
克己慎独的博客
09-05 1960
Deep Deterministic Policy Gradient 文章目录Deep Deterministic Policy Gradient算法思想伪代码算法实现附录参考文献 算法思想 ​ 在介绍DDPG之前，先来介绍几个概念：确定性策略是指某个状态执行的动作是一定的；随机性策略是指在某个状态得到的是执行动作的概率，可能执行不同的动作。确定性策略是和随机策略相对而言的，对于某一些动作集合来说，它可能是连续值，或者非常高维的离散值，这样动作的空间维度极大。如果我们使用随机策略，即像DQN一样研究它所有
探索Policy Gradient与强化学习方法：Monte-Carlo与Proximal Policy Optimization详解
本文档是一份关于"Policy Gradient"的深入技术文档，由Shihao Gao于2022年5月6日编写，主要讨论了基于策略的强化学习（Policy-Based Reinforcement Learning）方法。该主题源于David Silver的讲座，并且提供了对简单...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值