连续动作空间

最新推荐文章于 2023-05-06 16:57:42 发布
最新推荐文章于 2023-05-06 16:57:42 发布
阅读量667 收藏
点赞数 1
分类专栏： Reinforcement Learning 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41799736/article/details/124220545
版权

1 A2C方法

A2C方法的状态价值输出端针对连续动作保持不变。唯一受影响的是策略的表示形式。
请添加图片描述

2 确定性策略梯度

论文：Deterministic Policy Gradient Algorithms
DDPG 在深度 Q 网络基础上加了一个策略网络来直接输出动作值，所以 DDPG 需要一边学习 Q 网络，一边学习策略网络。Q 网络的参数用 w 来表示。策略网络的参数用 θ 来表示。我们称这样的结构为演员-评论员的结构.
在这里插入图片描述

3 分布的策略梯度(D4PG)

论文：Distributed Distributional Deterministic Policy Gradient
第一个改进：用概率分布替换critic的单个Q值。将Bellman方程替换为Bellman运算符，该运算符以类似的方式转换分布表示的Q值
第二个改进：使用n阶Bellman方程，加速收敛
第三个改进：使用带优先级的回放缓冲区而不是统一采样的缓冲区

执妄
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
强化学习——Sarsa
深海沧澜的博客
11-19 356
1.Sarsa: 核心：拿下一步的Q值来更新这一步的Q值 sample（） 输入的为状态，输出的为动作。 再进行learn（）需要注意要先通过next_obs拿到next_action 2. 3.Sarsa与环境交互 3.1Sarsa Agent 根据Q表格选动作 3.2.更新Q表格 ...
jax-sac:具有连续动作空间的深度强化学习的软演员关键（SAC）的Jax（亚麻）实现
03-11
贾克斯（亚麻）柔软演员评论家 这是的Jax（Flax）实现，。 该存储库的目标是提供一个简单而干净的实现，以在此基础上进行研究。 请不要将此存储库用于基线结果，而应使用SAC的原始实现。 安装 ...
一种用于连续动作空间的最小二乘行动者-评论家方法
02-26
解决具有连续动作空间的问题是当前强化学习领域的一个研究热点和难点．在处理这类问题时，传统的强化学习算法通常利用先验信息对连续动作空间进行离散化处理，然后再求解最优策略．然而，在很多实际应用中，由于缺乏用于离散化处理的先验信息，算法效果会变差甚至算法失效．针对这类问题，提出了一种最小二乘行动者一评论家方法(1east square actor—critic algorithm，I。SAC)，使用函数逼近器近似表示值函数及策略，利用最小二乘法在线动态求解近似值函数参数及近似策略参数，以近似值函数作为评论家指导近似策略参数的求解．将I。sAc算法用于解决经典的具有连续动作空间的小车平衡杆问题和mountain car问题，并与Cacla(continuous actor-critic learning automaton)算法和eNAC(episodic natural actor—critic)算法进行比较．结果表明，LSAC算法能有效地解决连续动作空间问题，并具有较优的执行性能．
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）
Cyrus_May的博客
04-12 9975
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）1. 动作空间1.1 离散动作空间1.2 连续动作空间 1. 动作空间 1.1 离散动作空间 比如:{left,right,up}\{left,right,up\}{left,right,up} DQN可以用于离散的动作空间（策略网络） 1.2 连续动作空间 比如：A=[0∘，180∘]∗[0∘,360∘]A=[0^{\circ} ，180^{\circ} ]*[0^{\circ} ,360^{\circ} ]A=[0∘，180∘]∗[0
Paddle强化学习从入门到实践 （Day5）：连续动作空间的求解
fan1102958151的博客
06-23 1441
离散空间和连续空间 之前我们做出的决策都是基于离散状态的，简单来说是类似于在做“选择题”。而连续的动作，我们输出的将不是某个动作，而是更加细致的动作的程度，类比深度学习的分类任务与回归任务。当然，具体选何种模型可以根据具体情况灵活选择，有时离散动作和连续动作之间是可以灵活转换的。 选择回归模型，那么意味着输出动作种类是无限多的，因此为了减少不确定性，使用连续动作输出的模型时，使用的是确定性策略，即同样的输入会得到同样的输出，而随即策略是有一定的概率得到不同的输出结果的。 用于连续动作输出的值我
强化学习之policy-based方法A2C实现（PyTorch）
Ton的博客
01-02 8600
A2C：Advantage Actor Critic算法 应该是全期望 V前面少了个γ，虽然都说贝尔曼等式在有模型下才能用，但是上述这个等式在推导过程中可以约去转移概率P，故可以成立。 继Dueling之后，又一个子网络。 最后你会发现，其实就是用TDerror代替了G，其实V也可以充当TD目标值。只不过我们当初选择Q是因为，一是Q能选择动作而V不能；第二是因为当初用V做的时候，经过预测和控制之后，V仍需要转成Q，有了贝尔曼公式就很方便，然后用贪心策略从Q中选出了动作，那么...
从零实践强化学习之连续动作空间上求解RL(PARL)
zbp_12138的博客
06-22 3575
回顾这五节课的内容,其实可以分成四大内容: 离散状态空间 连续状态空间 离散动作空间 连续状态空间 最后一节课的主要内容就是学习用强化学习来求解连续状态空间的问题 连续动作空间连续动作和离散动作是一个相对的概念,通过回顾离散动作来学习什么是连续动作 连续动作 VS 离散动作前面几节课接触到的,比如倒立摆、小乌龟还有雅达利的乒乓球,动作的步长都已经提前给定的,比如按一下就走一个单位长度 但是现实生活中,比如开车时方向盘的角度,或者是无人机的电压都是连续的,也就是说,输出的动作是不可数的,就好像倒立摆可以
PyTorch-ActorCriticRL:DDPG算法的PyTorch实现用于连续动作强化学习问题
05-05
该算法使用DeepMind的深度确定性策略梯度方法更新演员和评论者网络，并使用过程在使用确定性策略的同时在连续动作空间中进行探索。 DDPG 是一种策略梯度算法，它使用随机行为策略进行探索（在这种情况下为Ornstein...
matlab_Actor-Critic简单应用例子,连续状态空间，离散动作
06-15
Actor-Critic算法则能很好地适应连续状态，通过参数化策略直接对连续动作进行估计。 3. **离散动作** 尽管状态空间是连续的，但执行的动作可以是离散的。这在现实世界中很常见，比如机器人可能只有几个可选的动作...
深度学习16-连续动作空间
clayhell的博客
01-09 1272
连续动作空间
Actor-Critic(A2C)算法 原理讲解+pytorch程序实现
qq_44949041的博客
05-06 1万+
Actor-Critic（A2C）算法时强化学习中一种基于策略梯度（Policy Gradient）和价值函数（Value Function）的强化学习方法，通常被用于解决连续动作空间和高维状态空间下的强化学习问题。本文将详细推导Actor-Critic的实现过程并且附上基于pytorch实现的代码，最后给出算法优缺点分析和使用心得。
强化学习笔记+代码（七）：Actor-Critic、A2C、A3C算法原理和Agent实现(tensorflow)
u011517132的博客
03-27 7104
本文主要整理和参考了李宏毅的强化学习系列课程和莫烦python的强化学习教程 本系列主要分几个部分进行介绍 强化学习背景介绍 SARSA算法原理和Agent实现 Q-learning算法原理和Agent实现 DQN算法原理和Agent实现(tensorflow) Double-DQN、Dueling DQN算法原理和Agent实现(tensorflow) Policy Gradients算法原理...
算法学习（十七）——A2C和PPO
星之所望的博客
04-01 4760
PPO算法有三个重点： 1.可以输出连续的控制信号，比如输出正太分布的均值和方差作为一个连续动作的动作概率 2.将PG的在线学习，改成离线学习，提高数据的利用率。 具体方法是使用重要性采样，将不同动作的TD-Error加上一个动作的概率，从而可以在用不同阶段策略的数据更新本阶段的模型。 3.N-step参数更新方式。 原本的AC模型中，使用0阶的TD-Error更新模型，前向探索能力不足，使用N步之后的TD-Error可以更有效的获取动作的好坏。 调参技巧： PPO算法玩Atari游戏的时候，
连续动作空间与DDPG
weixin_43082781的博客
06-25 1915
连续动作空间与DDPG 小车速度，角度，电压的电流量值这些是连续值，对于连续动作的动作控制空间，之前所介绍的Q-learning和 Sarsa、DQN等算法，这里是没有办法处理的。那怎么去输出连续的动作呢？这时候，万能的神经网络又出现了。 在离散的动作场景下，如果需要输出上、停止、下，有几个动作，神经网络就输出几个概率值。在随机性策略情况下，对于某一个s（state），采取的某一个action的概率并不是百分之百。输出的将会是其中的一个概率的动作。 在连续的动作场景下。比如要输出机器人胳膊弯曲的角度，就输
深度强化学习——连续动作控制DDPG、NAF
热门推荐
草帽BOY的博客
06-14 4万+
传统的DQN只适用于离散动作控制，而DDPG和NAF是深度强化学习在连续动作控制上的拓展。
强化学习：随机策略梯度，AC家族（AC，A2C，A3C）
燕双嘤
03-29 6818
1，随机策略梯度 1.1，简介 离散动作和连续动作： （1）要输出离散动作的话，我们就是加一层 softmax 层来确保说所有的输出是动作概率，而且所有的动作概率加和为 1。 （2）要输出连续动作的话，一般可以在输出层这里加一层 tanh。 tanh 的图像的像右边这样子，它的作用就是把输出限制到 [-1,1] 之间。拿到这个输出后，就可以根据实际动作的范围再做一下缩放，然后再输出给环境。 比如神经网络输出一个浮点数是 2.8，然后经过 tanh 之后，它就可以被限制在 [-1,1] 之间
强化学习经典算法笔记(十二)：近端策略优化算法（PPO）实现，基于A2C（下）
hhy_csdn的博客
06-30 3657
强化学习经典算法笔记(十二)：近端策略优化算法（PPO）实现，基于A2C 本篇实现一个基于A2C框架的PPO算法，应用于连续动作空间任务。 import torch import torch.nn as nn from torch.distributions import MultivariateNormal import gym import numpy as np device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu
EasyRL 强化学习笔记 1、2章节（强化学习概述，MDP）
strawberry47的博客
11-03 1003
目录第一章 强化学习概述Reinforcement Learning和监督学习对比：trajectory与episodeSequential Decision Makingstate和observation；MDP与POMDPAction SpacesMajor Components of an RL AgentPolicyValue FunctionModelPolicy-based 与 Value-basedTypes of RL Agentsvalue-based & policy-base
强化学习：如何处理大规模离散动作空间
喜欢打酱油的老鸟
06-18 8965
https://www.toutiao.com/a6701973206141501964/ 在深度学习大潮之后，搜索推荐等领域模型该如何升级迭代呢？强化学习在游戏等领域大放异彩，那是否可将强化学习应用到搜索推荐领域呢？推荐搜索问题往往也可看作是序列决策的问题，引入强化学习的思想来实现长期回报最大的想法也是很自然的，事实上在工业界已有相关探索。因此后面将会写一个系列来介绍近期强化学习在搜索推...
连续动作空间的PPO算法
最新发布
08-13
连续动作空间的PPO算法使用两个网络结构。PPO算法是一种on-policy的强化学习算法，用于解决连续动作空间的强化学习问题。它的网络结构由论文《Proximal Policy Optimization Algorithms》中描述的两个部分组成。其中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值