强化学习&连续空间5.2 | 离散化

最新推荐文章于 2022-08-21 11:04:14 发布
最新推荐文章于 2022-08-21 11:04:14 发布
阅读量780 收藏
点赞数
分类专栏： 游戏AI 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43236007/article/details/114645504
版权
本文探讨了强化学习中如何处理连续状态空间，包括网格空间的切分离散化方法，以及Tile Coding技术，它能动态地将状态表示为位向量。此外，还介绍了adaptive tile coding的自动化离散化优势以及coarse coding如何用稀疏特征表示状态空间，影响值函数的平滑性。
摘要由CSDN通过智能技术生成

如果是网格空间的话，我们可以将它通过切分离散化
在这里插入图片描述
另一种方式是Tile Coding，将不同的tile叠加在状态上，并给他们分配一个位，如果智能体正在某个位置上，可以将新的离散化状态表示为位向量，激活的位置为1，其它位置为0
在这里插入图片描述
在这里插入图片描述
adaptive tile coding不需要我们手动指定离散化方式
在这里插入图片描述
coarse coding使用一组更稀疏的特征来表示状态空间，构建一个位向量，这些圆圈用1表示，剩余圆圈用0表示，圆圈越小空间的泛化程度就越低，形成不太平缓的值函数
在这里插入图片描述

ASKCOS
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
强化学习&连续空间5.3 | 函数逼近
ASKCOS博客
03-10 277
离散化的好处是基本不用改变就能使用现有的强化学习算法，但当底层空间很复杂时，所需的离散状态数量可能会很大，因此就失去了离散化优势。函数逼近的一般方法是引入一个标识函数形状的参数向量W，通过调整W来逼近结果 将状态的每个特征和相应的权重相乘然后求和，称之为线性函数逼近 可以通过梯度下降的方式来更新w 为了解决不基于模型的控制问题，即在未知的环境中采取动作，我们需要逼近动作值函数 如果底层的值函数是非线性性质，可以使用核函数将输入状态转化为不同的空间 对于任何给定状态我们可以将状态表示简化为这些径向
连续状态空间模型离散化
m0_51848248的博客
03-14 2454
连续状态空间模型离散化
如何将连续系统状态空间方程离散化
qq_34525916的博客
06-07 7189
连续系统转化为离散系统的方法之-- z变换。z变换主要研究如何将连续系统传递函数G(s) 转化为离散传递函数 G(z)。就是找到一个s和z的关系，直接将G(s)中的s全部替换为z便大功告成。 线性连续系统的表达方法之一便是传递函数，用 s 表示微分 C(s)=b0sn−1+...+bn−1sn+a0sn−1+...+an−1(1)C(s) = \frac{b_0s^{n-1}+...+b_{n-1}}{s^n+a_0s^{n-1}+...+a_{n-1}} \tag{1}C(s)=sn+a0​sn−1+.
01 强化学习——策略梯度法(Policy Gradient PG)（离散动作）
风雨潇潇一书生
11-30 3863
一、来源和定位 1.1 PG算法在强化学习方法中的定位 策略梯度是基于策略搜索方法中最基础的方法，要理解AC，DDPG需要先学习策略梯度。 1.2 策略梯度直观理解 策略梯度是将智能体的策略转换成参数的非线性函数，通过寻优参数找到函数的最值，从而使回报值最大。如下图所示，假设有三条路径（每一条路径理解为一个策略）回报分别为1,3，-1.最直观的做法是尽量选择第二条路径，即增加该策略的概率，使最终的回报最大。 二、问题数学表示 主要思想是使最终的回报最大，即一个完成的交互episode（从
[PARL强化学习]连续动作空间上求解RL——DDPG
chenqianhe2的博客
03-20 1409
[PARL强化学习]连续动作空间上求解RL——DDPG 一、连续动作 生过中有很多动作不可数的情况，即是连续动作 为了解决连续动作的问题，我们需要使用Policy网络，输出一个确定性的策略，例如一个具体的浮点数等。常见做法就是在网络的最后增加一个tanh层。 二、DDPG简介 DDPG全称是Deep Deterministic Policy Gradient，即深度确定性策略梯度。 从DDPG这个名字看，它是由D（Deep）+D（Deterministic ）+ PG(Policy Gradient)
乐购社区5.2|正版云乐购程序源码.zip
06-26
第二步：两个空间+一个数据库分别把总控跟社区程序解压里面,然后把数据库登入创建好的数据库即可 第三步：配置环境Apache+Mysql+PHP5.6 系统管理/系统配置/系统配置/CDN域名设置 帐号密码口令都是lg
5.2 Policy Gradients 思维决策 (强化学习 Reinforcement Learning 教学)
08-31
#5.2_Policy_Gradients_思维决策_(强化学习_Reinforcement_Learning_教学)
使用VMwareHorizonView5.2制作虚拟化桌面视频教程
07-23
资源名称：使用VMware Horizon View 5.2制作虚拟化桌面视频教程 教程内容：用户所现有的办公方式是基于传统PC方式，需要在每台PC上安装所需的软件程序(办公软件如word等，聊天软件如QQ等)及客户端，同时重要的数据...
Help & Manual 5.2英文版含ＫＥＹ
11-30
Help & Manual 5.2英文版含ＫＥＹ
数字控制系统的连续—离散化设计PPT学习教案.pptx
10-03
5.2 数字滤波器法是连续—离散化设计的一种常见方法。数字滤波器 D(z) 是基于模拟滤波器 D(s) 设计的，通过不同的方法将 D(s) 转化为 D(z)。脉冲不变法是其中一种，设计时要求 D(z) 的脉冲响应在采样点与 D(s) 相等...
连续状态自适应离散化基于K-均值聚类的强化学习方法
01-15
<p>使用聚类算法对连续状态空间进行自适应离散化,得到了基于K-均值聚类的强化学习方法.该方法的学习过程分为两部分:对连续状态空间进行自适应离散化的状态空间学习,使用K-均值聚类算法;寻找最优策略的策略学习,使用替代合适迹Sarsa学习算法.对连续状态的强化学习基准问题进行仿真实验,结果表明该方法能实现对连续状态空间的自适应离散化,并最终学习到最优策略.与基于CMAC 网络的强化学习方法进行比较,结果表明该方法具有节省存储空间和缩短计算时间的优点.</p>
强化学习课程学习（8）——基于连续动作空间上的方法求解RL
Cecilia
06-22 2212
策略梯度提供了和DQN之类的方法不同的新思路，但是我们上面的蒙特卡罗策略梯度reinforce算法却并不完美。由于是蒙特卡罗法，我们需要完全的序列样本才能做算法迭代，同时蒙特卡罗法使用收获的期望来计算状态价值，会导致行为有较多的变异性，我们的参数更新的方向很可能不是策略梯度的最优方向。这时可以考虑结合value-based强化学习方法来解决——AC算法 Actor-Critic Policy Based+Value Based结合的策略梯度方法Actor-Critic从名字上看包括两部分，演员(Actor
从零实践强化学习之连续动作空间上求解RL(PARL)
zbp_12138的博客
06-22 3597
回顾这五节课的内容,其实可以分成四大内容: 离散状态空间 连续状态空间 离散动作空间 连续状态空间 最后一节课的主要内容就是学习用强化学习来求解连续状态空间的问题 连续动作空间连续动作和离散动作是一个相对的概念,通过回顾离散动作来学习什么是连续动作 连续动作 VS 离散动作前面几节课接触到的,比如倒立摆、小乌龟还有雅达利的乒乓球,动作的步长都已经提前给定的,比如按一下就走一个单位长度 但是现实生活中,比如开车时方向盘的角度,或者是无人机的电压都是连续的,也就是说,输出的动作是不可数的,就好像倒立摆可以
【机器学习】什么是连续状态空间？如何构建一个强化学习的算法以及构建强化学习算法中的一些问题
最新发布
m0_51816252的博客
08-21 3250
以上就是今天要讲的内容，本文主要讲解了如何去构建一个强化学习算法以及构建算法中存在的问题及如何去解决。首先介绍了什么是连续状态空间，这是构建强化学习算法必须理解的，然后介绍了构建一个强化学习算法的框架，重点就是找到策略Pi。随后提到了学习状态值函数的完整算法。
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）
热门推荐
Cyrus_May的博客
04-12 1万+
强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）1. 动作空间1.1 离散动作空间1.2 连续动作空间 1. 动作空间 1.1 离散动作空间 比如:{left,right,up}\{left,right,up\}{left,right,up} DQN可以用于离散的动作空间（策略网络） 1.2 连续动作空间 比如：A=[0∘，180∘]∗[0∘,360∘]A=[0^{\circ} ，180^{\circ} ]*[0^{\circ} ,360^{\circ} ]A=[0∘，180∘]∗[0
强化学习经典算法笔记(十八)：离散动作空间REINFORCE算法
hhy_csdn的博客
07-13 3875
强化学习经典算法笔记(十八)：离散动作空间REINFORCE算法 在文章强化学习经典算法笔记(七)：策略梯度算法Policy Gradient中介绍了连续动作空间的Policy Gradient算法，最近需要用到离散空间的版本，遂写了个CartPole-v1上的PG代码。 相比于原来的PG，改动主要在select_action函数和update_parameters函数。在原来的版本中，由于动作是一个二维连续向量，所以动作的对数概率也是一个二维向量，动作熵也是二维向量，而CartPole环境就要做一定修改。
强化学习（七） - 函数近似方法 - 随机梯度下降, 半梯度下降,及瓦片编码(Tile Coding)实例
Stan_Fu的博客
10-12 4311
本节介绍用函数近似（function approximation）方法来估计给定策略π的状态价值函数v_π或动作价值函数q_π。
关于线性连续系统转换到离散系统的方法
Azahaxia的博客
04-17 8805
关于连续系统转换到离散系统的方法 虽然通常在分析设计控制器时，总是针对连续系统设计的。但是若要将其在实际工程中应用起来，则免不了需要将它转换为离散的形式。本文主要对连续系统转换到离散系统的几种方法进行了汇总，便于之后的翻阅。 参考资料： 状态空间方程的离散化 - 知乎 (zhihu.com) (55条消息) 如何将连续系统状态空间方程离散化_Let’sCode的博客-CSDN博客_连续状态空间方程离散化 Optimal State Estimation Kalman, H Infinity, and No
9、On-policy Prediction with Approximation
JacobJiang的博客
04-28 256
文章目录1、值函数近似（逼近）2、预测目标(MSVE)     1、值函数近似（逼近） 强化学习中的函数近似：使用已知策略 π\piπ 生成的经验来近似值函数 vπv_\pivπ​，且值函数是一种以权重向量 θ∈Rn\theta \in \R^nθ∈Rn 的参数化函数形式，用 v^(s,θ)≈vπ(s)\hat{v}(s,\theta) \approx v_\pi(s)v^...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ASKCOS

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值