强化深度学习task06连续动作空间和DDPG

最新推荐文章于 2022-06-20 22:23:30 发布
最新推荐文章于 2022-06-20 22:23:30 发布
阅读量735 收藏 5
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lukem44/article/details/109564956
版权

一、连续动作和离散动作
连续动作：动作是连续的浮点数比如速度、推力、角度、电压等
离散动作：动作是离散值，比如上下左右等。
求解方法：
在这里插入图片描述
离散动作：softmax映射
连续动作：tanh连续映射
二、DDPG
在这里插入图片描述
是DQN的扩展版，可扩展至连续空间
在这里插入图片描述
actor-critic结构
在这里插入图片描述
演员输出动作，并根据评论家的评判修改动作策略，评论家根据分数（观众反应）得出动作评判标准
在这里插入图片描述

lukem44
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用DQN解决连续动作控制问题
禅与计算机程序设计艺术
04-14 536
利用DQN解决连续动作控制问题 1. 背景介绍 在强化学习领域,解决连续动作控制问题一直是一个重要且具有挑战性的研究方向。传统的强化学习算法,如Q-learning和策略梯度方法,在处理连续动作空间时通常会遇到很多困难,比如动作空间维度灾难、梯度估计不稳定等问题。而深度强化学习的出现,为解决
深度确定性策略梯度(DDPG)：连续动作空间的探索者
最新发布
AGI通用人工智能之禅
04-27 107
强化学习 (Reinforcement Learning, RL) 已经成为人工智能领域中最具前景的研究方向之一，它关注的是智能体如何在与环境的交互中学习到最优策略，从而最大化长期累积奖励。传统的强化学习算法，如 Q-learning 和 SARSA，主要针对离散动作空间，即智能体在每个状态下只能选择有限个动作。然而，在许多实际应用中，智能体需要在连续的动作空间中进行决策，例如机器人控制、自动驾驶等。DDPG 作为一种高效的连续动作空间强化学习算法，在许多领域展现出了巨大的潜力。更复杂的网络架构。
强化学习——Sarsa
深海沧澜的博客
11-19 357
1.Sarsa: 核心：拿下一步的Q值来更新这一步的Q值 sample（） 输入的为状态，输出的为动作。 再进行learn（）需要注意要先通过next_obs拿到next_action 2. 3.Sarsa与环境交互 3.1Sarsa Agent 根据Q表格选动作 3.2.更新Q表格 ...
强化学习笔记【8】DQN连续动作
qq_41030408的博客
08-04 1430
该系列主要是听李宏毅老师的《深度强化学习》过程中记下的一些听课心得，除了李宏毅老师的强化学习课程之外，为保证内容的完整性，我还参考了一些其他的课程，包括周博磊老师的《强化学习纲要》、李科浇老师的《百度强化学习》以及多个强化学习的经典资料作为补充。 使用说明 笔记【4】到笔记【11】为李宏毅《深度强化学习》的部分； 笔记 【1】和笔记【2】根据《强化学习纲要》整理而来； 笔记 【3】和笔记【12】根据《百度强化学习》整理而来。 这一章的内容比较少，主要讲解了Q-learning在处理连续动作时的...
针对连续动作的DQN
qq_40206371的博客
11-30 6302
1 前言 跟基于策略梯度的方法比起来，DQN在处理连续状态的问题中 是比较好的。（因为前者是计算Q-table，后者是计算Q-function。前者在状态空间连续的时候是很难计算的）。 同时，DQN是比较容易训练的：在 DQN 里面，你只要能够估计出Q函数，就保证你一定可以找到一个比较好的策略。也就是你只要能够估计出Q函数，就保证你可以改进策略。而估计Q函数这件事情，是比较容易的，因为它就是一个回归问题。在回归问题里面， 你可以轻易地知道模型学习得是不是越来越好，只要看那...
【学习强化学习】八、连续动作下的DQN设计
weixin_42301220的博客
03-05 1067
文章目录参考资料思路1思路2思路34. 练习1. Q-learning相比于policy gradient based方法为什么训练起来效果更好，更平稳？ 参考资料 https://datawhalechina.github.io/easy-rl/#/chapter8/chapter8 思路1 a=arg⁡max⁡aQ(s,a)a=\arg \max _{a} Q(s, a) a=argamax​Q(s,a) 假设a是离散的，即a的可能性都是有限的。我们可以把每一个可能的动作都带到 Q 里面算它的 Q
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）
热门推荐
Cyrus_May的博客
04-12 1万+
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）1. 动作空间1.1 离散动作空间1.2 连续动作空间 1. 动作空间 1.1 离散动作空间 比如:{left,right,up}\{left,right,up\}{left,right,up} DQN可以用于离散的动作空间（策略网络） 1.2 连续动作空间 比如：A=[0∘，180∘]∗[0∘,360∘]A=[0^{\circ} ，180^{\circ} ]*[0^{\circ} ,360^{\circ} ]A=[0∘，180∘]∗[0
动手学深度学习 Task4 笔记
01-06
机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 2.15-2.19 一、机器翻译及相关技术 定义： 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译...
动手学深度学习Pytorch Task06
01-06
批量归一化（深度模型）：利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 对全连接层做批量归一化 位置：全连接层中的仿射变换和激活函数之间。 对卷...
深度学习Task3
01-06
多项式函数拟合实验 %matplotlib inline import torch import numpy as np import sys sys.path.append(“/home/kesci/input”) import d2lzh1981 as d2l print(torch.version) 1.3.0 初始化模型参数 ...
动手学深度学习Task4
01-20
总结来说，动手学深度学习Task4的学习内容涵盖了机器翻译的基本概念，以及如何通过注意力机制和Transformer模型改进传统Seq2Seq模型的性能，这些是现代自然语言处理中不可或缺的关键技术。通过深入理解并实践这些...
动手学深度学习Task04
01-06
Task04 1.机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与...
深度强化学习落地指南总结（二）-动作空间设计
CristianoC
10-14 2689
本系列是对《深度强化学习落地指南》全书的总结，这本书是我市面上看过对深度 强化学习落地讲的最好的一本书，大大拓宽了自己对RL落地思考的维度，形成了强化学习落地分析的一套完整框架，本文内容基本摘自这本书，有兴趣的读者可以点击文末链接自行购买。 作者对这本书的推荐序：https://zhuanlan.zhihu.com/p/403191691 2.1 动作空间设计：这里大有可为 2.1.1 被忽视的价值 关于动作空间的设计容易被大家忽视，因为Agent控制的方式往往在一开始就限制死，正如游戏玩家无法决定DOT
强化学习PARL——5. 基于连续动作空间上方法求解RL及大作业
Castlehe的博客
01-20 609
个人理解： 离散：可数（整数表示的） 连续：不可数（小数/浮点数表示的） 这里一共有四个网络，Q网络以及它的target_Q网络，策略网络以及它的target_P网络，两个target是为了稳定计算，每隔一段时间复制一下参数，投入到评估网络使用。 target_Q是为了稳定计算Q_target中的Qwˉ(s′,a′)Q_{\bar{w}}(s^{'},a^{'})Qwˉ​(s′,a′)，而其中的a′=μθ(s′)a^{'}=\mu_{\theta}(s^{'})a′=μθ​(s′)则是.
动手强化学习（六）：DQN 算法
与君共勉，一起学习
05-18 5152
动手强化学习（五）：时序差分算法 （Temporal Difference）1. 简介2. CartPole 环境3. DQN 1. 简介   在前面讲解讲解的 Q-learning 算法中，我们以矩阵的方式建立了一张存储每个状态下所有动作 QQQ 值的表格。表格中的每一个动作价值 Q(s,a)Q(s, a)Q(s,a) 表示在状态 sss 下选择动作 aaa 然后继续遵循某一策略预期能 够得到的期望回报。然而，这种用表格存储动作价值的做法只在环境的状态和动作都是离散的，并且空间都比较小的情况下适用，我们之
深度强化学习&连续空间5.1 | 离散空间与连续空间
ASKCOS博客
03-08 3488
离散空间表示有限的动作和状态 我们可以将任何状态和动作函数表示为字典或者查询表，字典中key为表示的状态，value为值；查询表每行对应为状态，每列对应为动作 连续空间是一定范围内的值，通常是实数 在值迭代中for循环遍历每个状态并更新相应的估值，这是在连续的状态空间中不可能的，loop将不会停止； 在Q-learning中，我们对状态S‘的所有潜在动作执行max运算，如果动作是连续的，这将不可执行 很显然我们需要改变表示法或者算法来处理连续空间，可以使用离散化和函数逼近 ...
强化学习打卡之DDPG
weixin_41560321的博客
11-08 760
强化学习打卡之DDPG DDPG用来解决action是连续的问题，其实有个概念挺混乱的，DQN是用来解决状态空间和动作空间过大的问题，连续的动作变量不就是很大的动作空间吗，为啥它不能解决连续动作变量的问题呢，直到跟上上一章Actor-Critic对比才知道跟神经网络的输入输出有关，因为DQN的神经网络输出的每个动作的Q值，所以不能解决动作时连续的问题，而Actor-Critic可以，因为用到了PolicyGradient进行策略迭代输出动作的方法，Policy Gradients 直接输出动作的最大好处就是
深度强化学习 DDPG算法 确定性行为策略 策略网络 探索策略 Q网络 软更新 连续型动作 离散型动作
anananajiushiwo的博客
06-20 1698
所谓确定性行为策略，就是一个函数，使得每一步的动作可以通过计算得到。使用一个CNN对函数进行模拟，这个CNN网络被称为策略网络，参数为。智能体在训练的过程中，要兼顾探索和更新。探索是为了探索到完整的动作状态空间，因此引入随机噪声，以将动作的决策过程由确定性转变为一个随机性过程，再从这个随机过程中采样得到动作值。这部分探索噪声只在训练的时候要用到。用另一个神经网络对Q函数进行模拟，参数为。ddpg算法使用软更新以保证训练更加稳定。一定的动作空间内，当前时间步与下一时间步的动作取值具有相关性。汽车的方向盘角度，
连续动作空间与DDPG
weixin_43082781的博客
06-25 1915
连续动作空间与DDPG 小车速度，角度，电压的电流量值这些是连续值，对于连续动作的动作控制空间，之前所介绍的Q-learning和 Sarsa、DQN等算法，这里是没有办法处理的。那怎么去输出连续的动作呢？这时候，万能的神经网络又出现了。 在离散的动作场景下，如果需要输出上、停止、下，有几个动作，神经网络就输出几个概率值。在随机性策略情况下，对于某一个s（state），采取的某一个action的概率并不是百分之百。输出的将会是其中的一个概率的动作。 在连续的动作场景下。比如要输出机器人胳膊弯曲的角度，就输
多智能体强化学习 离散环境和连续环境
08-29
在连续环境中，智能体通常采用函数优化的方法来选择动作，例如使用深度强化学习中的DDPG算法或者PPO算法。连续环境在一些控制问题中经常被使用，例如机器人控制或者自动驾驶等领域。<span class="em">1</span><span ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值