从零实践强化学习之连续动作空间上求解RL(PARL)

最新推荐文章于 2024-08-30 12:11:30 发布
最新推荐文章于 2024-08-30 12:11:30 发布
阅读量3.7k 收藏 52
点赞数 12
分类专栏： 强化学习 文章标签： 算法 python PARL 连续动作空间 RL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zbp_12138/article/details/106897984
版权

回顾这五节课的内容,其实可以分成四大内容:

最后一节课的主要内容就是学习用强化学习来求解连续状态空间的问题

连续动作空间

连续动作和离散动作是一个相对的概念,通过回顾离散动作来学习什么是连续动作

连续动作 VS 离散动作

前面几节课接触到的,比如倒立摆、小乌龟还有雅达利的乒乓球,动作的步长都已经提前给定的,比如按一下就走一个单位长度
在这里插入图片描述
但是现实生活中,比如开车时方向盘的角度,或者是无人机的电压都是连续的,也就是说,输出的动作是不可数的,就好像倒立摆可以左右走,当然也可以设置一个浮点数,正数和负数就决定了小车往哪走,走多少

换句话说,要想更好地控制他们,那么就要对精度有更高的要求,从整型变为浮点型,这样,可调节的范围就变多了

对于这些连续动作空间,前面讲的算法都无法处理,这时,"万能"的神经网络可以解决这一问题:
在这里插入图片描述

  • 对于前面的随机性策略,输入一个s,网络会输出在这个状态下做出某个动作的概率
  • 但对于确定性策略来说,网络的参数确定下来后,同样的状态必然输出同样的动作

具体来看的话,其实就是最后一层全连接层的激活函数不同:
在这里插入图片描述

  • softmax的输出范围是[0,1],所以它可以直接输出概率,并且可以确保所有动作概率的和为1
  • tanh的输出范围是[-1,1],它直接输出每个action的值,然后再根据实际,缩放到合适的范围内

在连续控制领域,比较经典的算法是DDPG

DDPG

DDPG的全称是Deep Deterministic Policy Gradient

实际上,DDPG的特点也可以从它的名字里拆解出来:
在这里插入图片描述

  • Policy Gradient
    上节课里的更新方法是每个episode更新一次;和上节课有所不同的是这里的更新频率更高,DDPG的网络里,每个step都会更新一次,也就是说,它是单步更新的policy网络

  • Deterministic
    Deterministic翻译过来是确定性的意思,也就是说,DDPG能直接输出确定的动作,可以用于连续动作的环境

  • Deep
    前面加了一个Deep,是因为DDPG用了神经网络,它借鉴了DQN的技巧,使用目标网络+经验回放

从DQN到DDPG

当初提出DDPG其实是为了让DQN可以扩展到连续控制动作空间

在这里插入图片描述

所以DDPG直接在DQN的基础上加了一个策略网络,用来直接输出动作值,DDPG实际上一边学习Q网络(用w表示),一边学习策略网络(用θ表示)

这样的结构称为Actor-Critic结构(评论家-演员)

Actor-Critic结构

在这里插入图片描述

  • 策略网络扮演的是演员的角色,她负责对外展示(输出动作)
  • Q网络是评论家,他会在每个step都会演员的动作评估打分,估计一下这次的action在未来能有多少总收益,也就是演员的Q值

演员需要根据评委的打分调整动作;而评委也需要根据观众的反映以及演员的动作来调整自己的打分

所以策略网络要做的是更新网络的参数θ,争取下次做的更好
而Q网络要做的就是根据环境的反馈reward来调整网络的参数w

在这样的场景下,其实策略网络和Q网络在一开始的时候都是随机的,随机输出动作,随机打分,但是由于有环境反馈的reward的存在,所以Q网络的评分会越来越准确,他也会带着策略网络,使它的输出越来越好

既然是神经网络,就要做参数更新,更新的方法跟DQN类似:
在这里插入图片描述
在计算Loss时,大的方向其实没变,只不过变成了一个复合函数:
在这里插入图片描述
原来的动作action是直接获取的,现在是神经网络的输出

目标网络

因为Q_target是不稳定的,所以为了稳定Q_target,DDPG分别给策略网络和Q网络都搭建了一个target_network,专门用来稳定Q_target:
在这里插入图片描述
这就是在看DDPG的文章时,会有四个网络的原因

另外.经验回放的方法跟DQN是一样的

用PARL实现DDPG

思路其实也很明显了,也是3大部分:
在这里插入图片描述
最核心的其实就是这四个函数:

最低0.47元/天 解锁文章
Mr.郑先生_
关注
专栏目录
（13-1）连续动作空间的强化学习：连续动作空间强化学习基础
码农三叔
03-28 1182
连续动作空间的强化学习是一种用于解决具有连续动作空间的强化学习问题的方法。在强化学习中，代理（通常是一个机器学习模型）通过与环境互动来学习最优策略，以最大化累积奖励。在本章的内容中，将详细讲解连续动作空间的强化学习的知识，为读者步入后面知识的学习打下基础。
强化学习——Sarsa
深海沧澜的博客
11-19 378
1.Sarsa: 核心：拿下一步的Q值来更新这一步的Q值 sample（） 输入的为状态，输出的为动作。 再进行learn（）需要注意要先通过next_obs拿到next_action 2. 3.Sarsa与环境交互 3.1Sarsa Agent 根据Q表格选动作 3.2.更新Q表格 ...
PPO算法解析
最新发布
m0_73545851的博客
08-30 715
PPO算法详解
【学习笔记】Lesson5-连续动作空间上求解RL（强化学习7日打卡营-世界冠军带你从零实践）
Kevin Pang的博客
06-26 430
5.1 连续动作空间 tanh(x)用来限制输出的action范围在[-1,1]，最后需要根据实际情况缩放。 5.2 DDPG(Deep Deterministic Policy Gradient) 5.2.1 DQN➡DDPG DDPG除了需要学习Q网络，还需要学习策略网络。 5.2.2 Actor-Critic结构（评论家-演员） 策略网络——Actor 目标网络——Critic 目标网络(Target Network)&经验回放(Replay Memory) 5.3
Paddle强化学习从入门到实践 （Day5）：连续动作空间的求解
fan1102958151的博客
06-23 1500
离散空间和连续空间 之前我们做出的决策都是基于离散状态的，简单来说是类似于在做“选择题”。而连续的动作，我们输出的将不是某个动作，而是更加细致的动作的程度，类比深度学习的分类任务与回归任务。当然，具体选何种模型可以根据具体情况灵活选择，有时离散动作和连续动作之间是可以灵活转换的。 选择回归模型，那么意味着输出动作种类是无限多的，因此为了减少不确定性，使用连续动作输出的模型时，使用的是确定性策略，即同样的输入会得到同样的输出，而随即策略是有一定的概率得到不同的输出结果的。 用于连续动作输出的值我
强化学习中的连续动作空间与深度强化学习
AI天才研究院
01-24 671
1.背景介绍 1. 背景介绍 强化学习(Reinforcement Learning, RL)是一种机器学习方法，通过与环境的互动来学习如何做出最佳决策。在强化学习中，智能体通过收集奖励信息来学习如何在环境中取得最大化的累积奖励。强化学习的一个关键挑战是如何在高维连续动作空间中进行优化。 深度强化学习(Deep Reinforcement Learning, DRL)是一种结合了深度学习和强...
强化学习之连续动作
weixin_41962319的博客
06-25 6833
连续动作输入的是state，输出的是action，下次输入相同的state时，则网络会输出相同的action，是确定性策略。 离散动作输入的是state，输出的是每个action的概率，经过sample之后，才输出agent所要采取的action 连续动作输入的state经过网络输出后，经过tanh激活函数将输出缩放到[-1,1]，在经过实际范围进行缩放，在输出给环境。比如：小车方向的范围是[-2,2]，将tanh输出的x2，再输出给环境。 DDPG：每个state都更新一次网络，是单步更新网络。一边更新Q
[PARL强化学习]连续动作空间上求解RL——DDPG
chenqianhe2的博客
03-20 1446
[PARL强化学习]连续动作空间上求解RL——DDPG 一、连续动作 生过中有很多动作不可数的情况，即是连续动作 为了解决连续动作的问题，我们需要使用Policy网络，输出一个确定性的策略，例如一个具体的浮点数等。常见做法就是在网络的最后增加一个tanh层。 二、DDPG简介 DDPG全称是Deep Deterministic Policy Gradient，即深度确定性策略梯度。 从DDPG这个名字看，它是由D（Deep）+D（Deterministic ）+ PG(Policy Gradient)
从零实践强化学习之基于表格型方法求解RL(PARL)
zbp_12138的博客
06-19 1166
第二天的课程主要在第一天的基础上开始的,科老师用了很多例子,把许多很难理解的内容讲的非常明白,那我在这里也整理一下,并结合我自己的理解,跟各位分享。 首先是强化学习的四元组 强化学习MDP四元组< S, A, P, R > 这是一个跟时间相关的序列决策问题: 在 t-1 时刻,我看到了熊对我招手,那么我下意识的动作即输出的动作是马上逃跑 那么在t时刻,熊看到我在跑,就认为发现了猎物,便会发动攻击,这时如果选择装死 那么在 t+1 时刻,熊可能会选择离开,这时我们再选择逃跑,那么大概率就能逃跑成
强化学习课程学习（8）——基于连续动作空间上的方法求解RL
Cecilia
06-22 2266
策略梯度提供了和DQN之类的方法不同的新思路，但是我们上面的蒙特卡罗策略梯度reinforce算法却并不完美。由于是蒙特卡罗法，我们需要完全的序列样本才能做算法迭代，同时蒙特卡罗法使用收获的期望来计算状态价值，会导致行为有较多的变异性，我们的参数更新的方向很可能不是策略梯度的最优方向。这时可以考虑结合value-based强化学习方法来解决——AC算法 Actor-Critic Policy Based+Value Based结合的策略梯度方法Actor-Critic从名字上看包括两部分，演员(Actor
（13-2）连续动作空间的强化学习：DDPG算法
码农三叔
03-28 2358
请看下面的例子，功能是使用深度强化学习方法（DDPG，Deep Deterministic Policy Gradient）来解决连续动作空间问题的示例代码。这个例子演示了一个自定义环境（CustomEnv）中的DDPG算法，该算法包括Actor-Critic网络架构和经验回放缓冲区，用于训练智能体在连续状态空间中执行动作以最大化累积奖励。
infinite-horizon-multi-robot-rl:强化学习方法适用于具有连续动作空间的无限视野多机器人场景
04-06
无限视野多机器人强化学习 强化学习（RL）方法适用于具有连续动作空间的无限视野多机器人场景。 这是一种基于行为准则的深度RL方法，可在连续时间和连续动作空间下提供完全异步的学习设置。 我们假设一个集中的，完全可观察的学习设置和一个分散的执行架构。 （正在建设中）
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）
Cyrus_May的博客
04-12 1万+
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）1. 动作空间1.1 离散动作空间1.2 连续动作空间 1. 动作空间 1.1 离散动作空间 比如:{left,right,up}\{left,right,up\}{left,right,up} DQN可以用于离散的动作空间（策略网络） 1.2 连续动作空间 比如：A=[0∘，180∘]∗[0∘,360∘]A=[0^{\circ} ，180^{\circ} ]*[0^{\circ} ,360^{\circ} ]A=[0∘，180∘]∗[0
连续动作空间
执妄
04-16 743
1 A2C方法 A2C方法的状态价值输出端针对连续动作保持不变。唯一受影响的是策略的表示形式。 2 确定性策略梯度 论文：Deterministic Policy Gradient Algorithms DDPG 在深度 Q 网络基础上加了一个策略网络来直接输出动作值，所以 DDPG 需要一边学习 Q 网络，一边学习策略网络。Q 网络的参数用 w 来表示。策略网络的参数用 θ 来表示。我们称这样的结构为演员-评论员的结构. 3 分布的策略梯度(D4PG) 论文：Distributed Distribut
强化学习（六） - 连续空间中的强化学习(RL in Continuous Spaces)及相关实例
热门推荐
Stan_Fu的博客
10-09 1万+
6.1 离散空间和连续空间 在之前的实例中，状态和动作的数量受到限制。使用小的，有限的马尔可夫决策过程（MDP），可以用表，字典或其他有限结构来表示动作值函数。 例如，考虑下面的非常小的gridworld。假设世界有四个可能的状态，并且代理有四个可能的操作可供使用（上，下，左，右）。您在前面的课程中了解到，我们可以在表中表示估计的最佳操作值函数，每个状态对应一个行，每个动作对应一个列。我们将此表称为Q表。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BnBR6zFE-16
强化学习PARL——5. 基于连续动作空间上方法求解RL及大作业
啷个哩个啷
01-20 640
个人理解： 离散：可数（整数表示的） 连续：不可数（小数/浮点数表示的） 这里一共有四个网络，Q网络以及它的target_Q网络，策略网络以及它的target_P网络，两个target是为了稳定计算，每隔一段时间复制一下参数，投入到评估网络使用。 target_Q是为了稳定计算Q_target中的Qwˉ(s′,a′)Q_{\bar{w}}(s^{'},a^{'})Qwˉ​(s′,a′)，而其中的a′=μθ(s′)a^{'}=\mu_{\theta}(s^{'})a′=μθ​(s′)则是.
强化学习入门（六）：Q-learning系列算法3：连续动作（NAF）
weixin_45459911的博客
04-18 2148
本文是在https://blog.csdn.net/acl_lihan/article/details/104076938的基础上进行了部分改动，加上了一点个人理解，原博客写的非常好，不妨一同查阅。 普通的Q-learning比policy gradient比较容易实现，但是在处理连续动作（比如方向盘要转动多少度）的时候就会显得比较吃力。 因为如果action是离散的几个动作，那就可以把这几个动作...
【机器学习】什么是连续状态空间？如何构建一个强化学习的算法以及构建强化学习算法中的一些问题
m0_51816252的博客
08-21 3424
以上就是今天要讲的内容，本文主要讲解了如何去构建一个强化学习算法以及构建算法中存在的问题及如何去解决。首先介绍了什么是连续状态空间，这是构建强化学习算法必须理解的，然后介绍了构建一个强化学习算法的框架，重点就是找到策略Pi。随后提到了学习状态值函数的完整算法。
连续状态和连续动作的强化学习问题
ahah12345678的博客
10-21 1258
（6）更新值函数网络：使用采集的样本和策略网络输出的动作概率，计算状态或状态-动作对的价值，并使用这些价值来更新值函数网络。（1）自动驾驶：在自动驾驶汽车中，需要考虑车辆的连续状态（如速度、位置、方向等）和连续动作（如加速、减速、转向等），以及环境中的各种因素（如道路状况、交通信号、障碍物等）。与离散状态和动作的强化学习问题不同，连续状态和动作空间是无限的，因此智能体需要探索和理解整个状态和动作空间，这增加了计算的复杂性和时间复杂性。例如，可以使用强化学习算法优化生产线的调度和协调，提高生产效率和质量。
parl的多智能体强化学习代码
12-14
parl是一个多智能体强化学习框架，它能够帮助开发者快速构建和训练多智能体系统。parl提供了一种简单而强大的方式来实现分布式强化学习，使得多个智能体可以共同学习和合作完成任务。 parl的多智能体强化学习代码主要包括以下几个方面： 1. 多智能体环境：parl提供了一个多智能体环境的接口，开发者可以自定义多智能体之间的交互方式和任务目标。这些环境可以是协作型的，也可以是对抗型的，能够满足不同场景下多智能体系统的需求。 2. 多智能体算法：parl实现了多种经典的多智能体强化学习算法，包括深度确定性策略梯度（DDPG）、多智能体深度确定性策略梯度（MADDPG）等。这些算法能够帮助多个智能体在不同环境下学习合适的策略，并实现有效的协作或竞争。 3. 多智能体训练框架：parl提供了一个高效的多智能体训练框架，可以实现分布式数据采集、经验共享和模型更新。开发者可以轻松地利用parl的训练框架来实现多智能体系统的训练和优化。 总的来说，parl的多智能体强化学习代码为开发者提供了一个完整的框架，能够帮助他们快速搭建和训练多智能体系统，实现复杂任务的协作和竞争。同时，parl也提供了丰富的示例代码和文档，方便开发者学习和使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr.郑先生_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值