强化学习的state和observation

最新推荐文章于 2022-05-30 14:44:17 发布
最新推荐文章于 2022-05-30 14:44:17 发布
阅读量2.6k 收藏 3
点赞数 7
分类专栏： 强化学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xurui_Luo/article/details/106841950
版权
  • state：全局的状态，是全局的
  • observation：agent的观测，是局部的

如果是单一agent的场景下，state和observation并没有区别
如果是多agent的场景下，则每个agent的observation与全局的state是不一样的

Xurui_Luo
关注
  • 7
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Slide Mode Control and Observation
11-09
描述了滑模控制的控制器设计方法和观测器的设计方法，并具有很多典型案例，是很好的课程材料
强化学习State和Observation的区别
lxlong的博客
10-11 5489
State和Observation区别： State是Environment的私有表达，我们往往不知道不会直接到的。在 MDP 中，当前状态State（Markov state）包含了所有历史信息，即将来只和现在有关，与过去无关，因为现在状态包含了所有历史信息。举个例子，在一个遵循牛顿第二定律的世界里，我们随意抛出一个小球，某一时刻t知道了小球的速度和加速度，那么t之后的小球的位置都可以...
强化学习 # 概述
skysys的研究小屋
12-10 1202
博主在学习强化学习和深度强化学习中对RL/DRL的归纳总结。 1 Introduction 强化学习的关键是：exploitation（利用） 和 exploration （探索），也可以解读为trial和reward。 和监督学习算法的区别是： 监督学习：已知数据、标签 强化学习：一开始没有标签，通过try获得data和label RL的一些基本算法：通过行为的价值来选取特定行为的方法, 包括使用表格学习的 q learning, sarsa, 使用神经网络学习的 deep q network,.
强化学习术语简介
qq_31239371的博客
05-06 874
state:对于环境（世界）的一个完整的描述 observation:对于state的部分描述，即可能会省略掉部分信息 在深度强化学习中，通常用实值向量、矩阵或高阶张量来表示state和obversation。例如，一个视觉观察可以用其像素值的RGB矩阵表示;机器人的状态可以用关节角和速度来表示。 当agent能够观察到环境的完整状态时，我们就说环境被完全观察到了(fully observed)。当agent只能看到部分观察结果时，我们说环境被部分观察到了(partially observed)。
强化学习入门
mike112223的博客
05-30 548
Agent 一个可以做动作的代理。例如一个运输的无人机，或者超级马里奥游戏。算法就是代理。在生活中，代理就是你。 Action A是代理可能做的所有动作的集合。一个动作是一目了然的，但是需要注意的是，代理必须从这个集合里选择动作。在视频游戏里，这个list可能包括，左右移动，跳高跳低，蹲下或者静止不动。在股票市场，这个list可能是买，卖或持有。 Discount factor 衰减因子通过乘在未...
深度强化学习：入门(Deep Reinforcement Learning: Scratching the surface)
热门推荐
MapleStory的博客
11-21 2万+
本博客是对学习李宏毅教授在youtube上传的课程视频《Deep Reinforcement Learning: Scratching the surface》所做的笔记，供大家学习参考。需要翻墙：课程视频链接热度起源 RL的方案 学习Go监督学习与增强学习 更多应用 RL的难点 后面内容的大纲 Policy-based ApproachLearning an Actor热度起源 15年2月：Goo
强化学习研究：使用稳定的基准，TensorBoard
02-13
强化学习研究使用稳定基线TensorBoard目的查找如何实施强化学习（RL）代码。过程配对库需要tensorflow = 1.14.0实施方法“ gym.Env”应该被继承。 应该定义“ action_space”和“ observation_space”。 两者都可以...
论文研究-A New Filtering Algorithm for Stochastic Dynamical Systems with State-Dependent Observation Noise.pdf
08-24
具有状态相关观测噪声随机动态系统的新滤波算法，唐建芳，李建波，近几十年来,对于具有与状态相关观测噪声的随机动态系统,人们已经给出卡尔曼滤波的许多扩展研究状态估计问题。本文主要讨论一个带�
batch_rl：Atari 2600游戏上的离线强化学习（又名批量强化学习）
02-19
离线强化学习的乐观观点（ICML，2020年） 该项目使用框架提供开放源代码实施，以运行提到的实验。 在这项工作中，我们使用DQN代理的记录的经验在脱机设置（即 ）中训练非策略代理（如下所示），而在训练过程中不与...
State estimation for discrete linear systems with observation time-delayed noise
02-20
State estimation for discrete linear systems with observation time-delayed noise
强化学习极简概述
ybdesire的专栏
07-22 408
1. 摘要 通过对比有监督学习，来理解强化学习的基本思想。 2. 强化学习与有监督学习的区别 在有监督学习中，我们通过建立“特征->标签”对，来训练模型，从而让模型学会解决分类、回归问题。 但在强化学习中，我们没有标签，我们的Y值只是一个分数(reward)。通过这个分数，可以衡量模型所做决策（决策位于X中）的好坏。 在gym环境中，the goal is always to ...
1.什么是强化学习
weixin_40593865的博客
05-21 1123
强化学习组成部分： 状态/观测值（state/observation）：当前情况； 动作（action）：当前采取的动作以及下一步的动作； 奖励（reward）：基于当前的state和action会获得的奖励； 策略（policy）：如何做决策； 动态环境（environment dynamics）:包括转移矩阵或者环境的核函数 强化学习有以下特点： 无监督 反馈滞后 时间重要，顺序进程 无独立同分布假设，agent根据环境影响采取行动 即通过积累求最大化的问题 记录历史参数： Ht
强化学习实战二
The Thinker
03-31 1891
这篇博客主要讲解强化学习中两种典型的问题：离散动作与连续动作，通过前面的学习我们知道离散动作问题可以用 Q-Learning算法 解决，而连续动作问题可以用 Policy Gradients算法 解决。 这篇博客使用的项目环境： MountainCar v0 MountainCarContinuous v0 1. MountainCar v0 问题描述：将动力不足的汽车推到山顶 ...
强化学习之迷宫Q-Learning实践笔记——入门篇
肖永威的专栏
01-12 5287
我们以走迷宫小游戏为例开始学习深度学习，迷宫样例原型来自“莫烦PYTHON”，系统的梳理强化学习和Q-learning基础知识，并结合代码实践跟踪行为轨迹和Q-Table。
强化学习笔记：不完全观测问题
qq_40206371的博客
05-30 934
1 不完全观测问题 像war3，dota之类的游戏，当前屏幕上的画面并不能完全反映出实际游戏的状态，因为观测只是地图的一小部分，屏幕上当前的画面也不能完整地反映出游戏的状态【比如屏幕上没有敌方单位，其实都在屏幕外蹲你。。。】 如果仅仅用t时刻的观测来作决策，那么是会偏离实际的。但是我们又无法知道完整的。这就是不完全观测问题了。 对于不完全观测的强化学习问题，应当记忆过去的观测，用所有已知的信息做决策。比如过去一段时间的观测是。我们把时刻1到时...
强化学习 Q-learning 实战GYM下的CliffWalking爬悬崖游戏
Xurui_Luo的博客
06-19 5225
CliffWalking 如下图所示，S是起点，C是障碍，G是目标 agent从S开始走，目标是找到到G的最短路径 这里reward可以建模成-1，最终目标是让return最大，也就是路径最短 代码和解释 import gym import time import numpy as np class QLearningAgent(object): def __init__(self, obs_n, act_n, learning_rate=0.01, gamma=0.9, e_greed=
强化学习中，gym的核心接口environment, 以及 render(), reset(), step() ,ob等
Xurui_Luo的博客
06-18 5195
gym的核心接口是environment，核心方法如下 reset()：重置环境状态，回到初始环境，方便下一次训练 step(action)：完成一个时间步，返回4个值 observation：object, 对环境的观测 reward：float，即时的奖励 done：bool 是否需要重置环境（如游戏这个时间步后游戏结束） info ：dict 用于调试诊断信息 render()：重绘环境图像 ...
强化学习 Sarsa 实战GYM下的CliffWalking爬悬崖游戏
Xurui_Luo的博客
06-18 3139
CliffWalking 如下图所示，S是起点，C是障碍，G是目标 agent从S开始走，目标是找到到G的最短路径 这里reward可以建模成-1，最终目标是让return最大，也就是路径最短 代码和解释 import gym import numpy as np import time # agent.py class SarsaAgent(object): def __init__(self, obs_n, act_n, learning_rate=0.01, gamma=0.9, e_
pytorch强化学习
最新发布
08-26
PyTorch是一个流行的深度学习框架，它提供了丰富的工具和库来支持强化学习任务。在PyTorch中进行强化学习，首先需要定义一个环境，然后使用神经网络模型作为智能体来与环境进行交互，并根据交互结果更新模型的参数。 以下是一个简单的PyTorch强化学习的示例代码： ```python import torch import torch.optim as optim import torch.nn as nn import gym # 定义神经网络模型 class QNetwork(nn.Module): def __init__(self, state_size, action_size): super(QNetwork, self).__init__() self.fc1 = nn.Linear(state_size, 64) self.fc2 = nn.Linear(64, 64) self.fc3 = nn.Linear(64, action_size) def forward(self, x): x = torch.relu(self.fc1(x)) x = torch.relu(self.fc2(x)) x = self.fc3(x) return x # 定义强化学习算法 def reinforce(env, model, optimizer, gamma): state = env.reset() done = False while not done: state_tensor = torch.tensor(state, dtype=torch.float32) q_values = model(state_tensor) action = q_values.argmax().item() # 根据最大Q值选择动作 next_state, reward, done, _ = env.step(action) next_state_tensor = torch.tensor(next_state, dtype=torch.float32) next_q_values = model(next_state_tensor) max_next_q_value = next_q_values.max().item() target_q = reward + gamma * max_next_q_value # 奖励与下一个状态的最大Q值的乘积 q = q_values[action] loss = nn.MSELoss()(q, target_q) # 使用均方误差作为损失函数 optimizer.zero_grad() loss.backward() optimizer.step() state = next_state # 创建环境和模型 env = gym.make('CartPole-v1') state_size = env.observation_space.shape[0] action_size = env.action_space.n model = QNetwork(state_size, action_size) # 定义优化器和训练参数 optimizer = optim.Adam(model.parameters(), lr=0.001) gamma = 0.99 # 训练模型 for episode in range(100): reinforce(env, model, optimizer, gamma) # 在环境中测试模型 state = env.reset() done = False while not done: state_tensor = torch.tensor(state, dtype=torch.float32) q_values = model(state_tensor) action = q_values.argmax().item() next_state, _, done, _ = env.step(action) state = next_state env.close() ``` 请注意，这只是一个简单的示例代码，实际的强化学习应用可能需要更复杂的算法和技术。强化学习是一个非常广阔且活跃的研究领域，如果你有特定的问题或任务，请提供更多的细节，我将尽力提供更准确和详细的指导。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值