强化学习——连续动作空间与DDPG

最新推荐文章于 2024-03-28 13:59:11 发布
最新推荐文章于 2024-03-28 13:59:11 发布
阅读量3.7k 收藏 13
点赞数 2
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/deepseazbw/article/details/110588173
版权
本文介绍了强化学习中连续动作空间的概念，并深入探讨了DDPG算法，包括其Actor-Critic结构、目标网络和经验回放机制。通过策略网络和Q网络的交互，DDPG在连续动作环境中寻找最佳策略。此外，文章强调了目标网络的稳定性及经验回放在训练过程中的重要性。
摘要由CSDN通过智能技术生成

本文内容源自百度强化学习 7 日入门课程学习整理
感谢百度 PARL 团队李科浇老师的课程讲解

目录

1.离散动作VS连续动作

2.DDPG

3.Actor-Critic结构（评论家-演员）

4.目标网络target network+经验回放replay memory

1.离散动作VS连续动作

  • 离散的动作：游戏的操作动作可数，例：向上下左右
  • 连续动作：输出的动作不可数 例：推锤子推的力，转方向盘的角度，四轴飞行器的电压

  • 在离散的动作场景下，有几个离散动作，就输出几个概率值。
  • 在连续的动作场景下，输出具体的浮点数代表确定性策略。
  • 随机性策略：当输入某一个状态s，采取某一个动作a可能性具有一定的概率，
  • 确定性策略：没有概率的影响，输入同样的状态s，输出同样的动作a

  • 离散动作里面，输出所有动作的概率总和为1。
  • 连续动作的输出，在输出层加一层tanh，把输出限制到[-1,1]，再通过缩放，对应到实际动作。

2.DDPG

  • Policy Gradient:用到的是策略网络，每一步都更新的policy网络。
  • Deterministic：DDPG输出的是确定的动作，用于连续动作的环境。

  • DDPG是为了让DQN的应用扩展到连续动作空间，在DQN的基础上加上了策略网络，用来
最低0.47元/天 解锁文章
深海沧澜夜未央
关注
专栏目录
深度强化学习的常用算法——DQN，DDPG，PPO
程序员光剑
08-05 1826
2015年末，机器学习已经成为人类与机器交互的新方式。近几年，随着强化学习在各个领域的广泛应用，深度强化学习也逐渐成为学术界和工业界研究的热点话题。深度强化学习（Deep Reinforcement Learning）是基于机器学习和大数据等技术提出的一种新的机器学习方法。它利用大量的实时反馈信息和高维动作空间，通过学习从原始输入到执行动作的映射关系，从而解决复杂问题，取得比传统机器学习更好的效果。其中最著名的就是由OpenAI开发的强化学习库OpenAI Gym。
强化学习——Sarsa
深海沧澜的博客
11-19 373
1.Sarsa: 核心：拿下一步的Q值来更新这一步的Q值 sample（） 输入的为状态，输出的为动作。 再进行learn（）需要注意要先通过next_obs拿到next_action 2. 3.Sarsa与环境交互 3.1Sarsa Agent 根据Q表格选动作 3.2.更新Q表格 ...
深度强化学习——连续动作控制DDPG、NAF
热门推荐
草帽BOY的博客
06-14 5万+
传统的DQN只适用于离散动作控制，而DDPG和NAF是深度强化学习在连续动作控制上的拓展。
强化学习之连续动作
weixin_41962319的博客
06-25 6781
连续动作输入的是state，输出的是action，下次输入相同的state时，则网络会输出相同的action，是确定性策略。 离散动作输入的是state，输出的是每个action的概率，经过sample之后，才输出agent所要采取的action 连续动作输入的state经过网络输出后，经过tanh激活函数将输出缩放到[-1,1]，在经过实际范围进行缩放，在输出给环境。比如：小车方向的范围是[-2,2]，将tanh输出的x2，再输出给环境。 DDPG：每个state都更新一次网络，是单步更新网络。一边更新Q
强化学习中的连续动作空间与深度强化学习
程序员光剑
01-24 652
1.背景介绍 1. 背景介绍 强化学习(Reinforcement Learning, RL)是一种机器学习方法，通过与环境的互动来学习如何做出最佳决策。在强化学习中，智能体通过收集奖励信息来学习如何在环境中取得最大化的累积奖励。强化学习的一个关键挑战是如何在高维连续动作空间中进行优化。 深度强化学习(Deep Reinforcement Learning, DRL)是一种结合了深度学习和强...
Paddle强化学习从入门到实践 （Day5）：连续动作空间的求解
fan1102958151的博客
06-23 1478
离散空间和连续空间 之前我们做出的决策都是基于离散状态的，简单来说是类似于在做“选择题”。而连续的动作，我们输出的将不是某个动作，而是更加细致的动作的程度，类比深度学习的分类任务与回归任务。当然，具体选何种模型可以根据具体情况灵活选择，有时离散动作和连续动作之间是可以灵活转换的。 选择回归模型，那么意味着输出动作种类是无限多的，因此为了减少不确定性，使用连续动作输出的模型时，使用的是确定性策略，即同样的输入会得到同样的输出，而随即策略是有一定的概率得到不同的输出结果的。 用于连续动作输出的值我
[PARL强化学习]连续动作空间上求解RL——DDPG
chenqianhe2的博客
03-20 1428
[PARL强化学习]连续动作空间上求解RL——DDPG 一、连续动作 生过中有很多动作不可数的情况，即是连续动作 为了解决连续动作的问题，我们需要使用Policy网络，输出一个确定性的策略，例如一个具体的浮点数等。常见做法就是在网络的最后增加一个tanh层。 二、DDPG简介 DDPG全称是Deep Deterministic Policy Gradient，即深度确定性策略梯度。 从DDPG这个名字看，它是由D（Deep）+D（Deterministic ）+ PG(Policy Gradient)
强化学习算法（四）——深度确定性策略DDPG
LongXinKou的博客
04-05 1248
文章目录1. 离散动作与连续动作的区别2. DDPG 1. 离散动作与连续动作的区别 （1）离散动作与连续动作 离散动作：动作空间有限。 连续动作：连续动作空间。 对于连续的动作空间，Q学习、DQN等算法没有办法处理。 （2）随机性策略和确定性策略 随机性策略：输入某一个状态s，采取某一个动作的可能型不是百分百。 ①一般的，在网络最后加上softmax层确保输出是动作概率。 决定性策略：输入某个状态s，会选择相同的动作。 ②一般可以在输出层加一层tanh，把输出限制到[-1,1]之间。将所得值再进行扩
强化学习课程学习（8）——基于连续动作空间上的方法求解RL
Cecilia
06-22 2249
策略梯度提供了和DQN之类的方法不同的新思路，但是我们上面的蒙特卡罗策略梯度reinforce算法却并不完美。由于是蒙特卡罗法，我们需要完全的序列样本才能做算法迭代，同时蒙特卡罗法使用收获的期望来计算状态价值，会导致行为有较多的变异性，我们的参数更新的方向很可能不是策略梯度的最优方向。这时可以考虑结合value-based强化学习方法来解决——AC算法 Actor-Critic Policy Based+Value Based结合的策略梯度方法Actor-Critic从名字上看包括两部分，演员(Actor
infinite-horizon-multi-robot-rl:强化学习方法适用于具有连续动作空间的无限视野多机器人场景
04-06
无限视野多机器人强化学习 强化学习（RL）方法适用于具有连续动作空间的无限视野多机器人场景。 这是一种基于行为准则的深度RL方法，可在连续时间和连续动作空间下提供完全异步的学习设置。 我们假设一个集中的，完全可观察的学习设置和一个分散的执行架构。 （正在建设中）
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）
Cyrus_May的博客
04-12 1万+
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）1. 动作空间1.1 离散动作空间1.2 连续动作空间 1. 动作空间 1.1 离散动作空间 比如:{left,right,up}\{left,right,up\}{left,right,up} DQN可以用于离散的动作空间（策略网络） 1.2 连续动作空间 比如：A=[0∘，180∘]∗[0∘,360∘]A=[0^{\circ} ，180^{\circ} ]*[0^{\circ} ,360^{\circ} ]A=[0∘，180∘]∗[0
（13-2）连续动作空间的强化学习：DDPG算法
最新发布
码农三叔
03-28 2293
请看下面的例子，功能是使用深度强化学习方法（DDPG，Deep Deterministic Policy Gradient）来解决连续动作空间问题的示例代码。这个例子演示了一个自定义环境（CustomEnv）中的DDPG算法，该算法包括Actor-Critic网络架构和经验回放缓冲区，用于训练智能体在连续状态空间中执行动作以最大化累积奖励。
从零实践强化学习之连续动作空间上求解RL(PARL)
zbp_12138的博客
06-22 3670
回顾这五节课的内容,其实可以分成四大内容: 离散状态空间 连续状态空间 离散动作空间 连续状态空间 最后一节课的主要内容就是学习用强化学习来求解连续状态空间的问题 连续动作空间连续动作和离散动作是一个相对的概念,通过回顾离散动作来学习什么是连续动作 连续动作 VS 离散动作前面几节课接触到的,比如倒立摆、小乌龟还有雅达利的乒乓球,动作的步长都已经提前给定的,比如按一下就走一个单位长度 但是现实生活中,比如开车时方向盘的角度,或者是无人机的电压都是连续的,也就是说,输出的动作是不可数的,就好像倒立摆可以
连续动作的强化学习算法——SAC
爱学习的小王的博客
05-10 5300
Soft Actor-Critic   目前来说，关于连续动作的强化学习算法，经常使用到的就是PPO、DDPG和SAC以及在此基础上的改进算法，这里主要说一下SAC算法。 介绍   首先SAC算法是基于Off-Policy的，因此会用到Replay Buffer，使用过去的样本经验进行学习，这会使得算法的稳定性和收敛性有一定的困难，特别是在连续的状态和动作空间下。然后是基于Actor-Critic的，同时基于值和策略进行评估，可以实现单步更新。SAC则是在此基础上，要求最大化期望的同时最大化策略分布的熵，以
（13-1）连续动作空间的强化学习：连续动作空间强化学习基础
码农三叔
03-28 1133
连续动作空间的强化学习是一种用于解决具有连续动作空间的强化学习问题的方法。在强化学习中，代理（通常是一个机器学习模型）通过与环境互动来学习最优策略，以最大化累积奖励。在本章的内容中，将详细讲解连续动作空间的强化学习的知识，为读者步入后面知识的学习打下基础。
强化学习入门（六）：Q-learning系列算法3：连续动作（NAF）
weixin_45459911的博客
04-18 2115
本文是在https://blog.csdn.net/acl_lihan/article/details/104076938的基础上进行了部分改动，加上了一点个人理解，原博客写的非常好，不妨一同查阅。 普通的Q-learning比policy gradient比较容易实现，但是在处理连续动作（比如方向盘要转动多少度）的时候就会显得比较吃力。 因为如果action是离散的几个动作，那就可以把这几个动作...
连续状态和连续动作的强化学习问题
ahah12345678的博客
10-21 1221
（6）更新值函数网络：使用采集的样本和策略网络输出的动作概率，计算状态或状态-动作对的价值，并使用这些价值来更新值函数网络。（1）自动驾驶：在自动驾驶汽车中，需要考虑车辆的连续状态（如速度、位置、方向等）和连续动作（如加速、减速、转向等），以及环境中的各种因素（如道路状况、交通信号、障碍物等）。与离散状态和动作的强化学习问题不同，连续状态和动作空间是无限的，因此智能体需要探索和理解整个状态和动作空间，这增加了计算的复杂性和时间复杂性。例如，可以使用强化学习算法优化生产线的调度和协调，提高生产效率和质量。
强化学习PARL——5. 基于连续动作空间上方法求解RL及大作业
啷个哩个啷
01-20 632
个人理解： 离散：可数（整数表示的） 连续：不可数（小数/浮点数表示的） 这里一共有四个网络，Q网络以及它的target_Q网络，策略网络以及它的target_P网络，两个target是为了稳定计算，每隔一段时间复制一下参数，投入到评估网络使用。 target_Q是为了稳定计算Q_target中的Qwˉ(s′,a′)Q_{\bar{w}}(s^{'},a^{'})Qwˉ​(s′,a′)，而其中的a′=μθ(s′)a^{'}=\mu_{\theta}(s^{'})a′=μθ​(s′)则是.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值