强化学习中的后位状态 afterstate

已于 2022-06-29 18:42:11 修改
阅读量283 收藏
点赞数
文章标签： 机器学习
于 2022-06-29 18:29:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mango_x/article/details/125526396
版权

应用场景

在一些环境中，能知道采取了一个动作后会造成什么结果。如下棋，我们不知道如何下（采取的动作），但是知道每种下法将形成的局面（afterstate）。后位状态价值函数就是利用这些先验知识更加高效地学习方法。

理解

不同的 (s, a) 二元组产生相同的局面（afterstate），因此将它们的价值也看做相同的。（不问来路）

贝尔曼方程

w(s_t,a_t) = \sum_{s_{t+1}}p(s_{t+1} | s_t,a_t) \max_{a}(r_{s_{t+1}, a} + \gamma w(s_{t+1}, a))

动作价值函数的贝尔曼方程：

最低0.47元/天 解锁文章
mango_x
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
强化学习（RLAI）读书笔记第六章差分学习（TD-learning）
无所知的博客
09-04 5381
第六章：Temporal-Difference Learning TD-learning算法是强化学习中一个独具特色而又核心的想法，结合了蒙特卡洛算法和动态规划的想法。和MC一样不需要环境模型直接从sample里学习，也像DP一样使用bootstrap通过别的状态值的估计更新当前状态值。首先也关注的是给定策略进行prediction或者叫policy evaluation。对于control（找...
强化学习导论 第六章 瞬时时间差分法
滴墨成殇的博客
11-06 1649
这一次开第六章，Temporal-Difference 方法，简称TD，可以翻译为瞬时差分法。 TD方法在强化学习算法中有很重要的地位，因为它是一个集大成的算法。TD综合了第五章所说的蒙特卡洛算法和第四章所说的DP算法的特点，既可以从真实经验序列学习，无需环境模型，又可以根据已得到的估计值来更新新的估计值（bootstrap）。这是目前我们需要在脑海中构建的关于TD的一个基本特征。 但是虽然T...
后位状态函数
乐趣是人为构建的，构建是一种莫大的乐趣。
06-30 123
什么叫后位状态价值函数？ 后位状态价值函数不考虑现在的状态，而把完成一次行动后的状态作为评估对象。在杰克租车问题中，后位状态只有20*20种，使用后位状态价值函数计算出来这些状态的价值存到表里，然后在任意的现在状态下，只需计算现在状态到所有可能后位状态的耗费，并以后位状态价值表与之做差，即可得到转移到哪个状态最值得。 在棋局中，有可能出现殊途同归的情况，后位状态价值函数恰恰做到了“不问来路”，只看你的最终目标，从而缩小了计算量。 ...
强化学习6.6
wusixuan2015的博客
03-04 440
6.6预期的Sarsa 考虑与Q学习一样的学习算法，除了考虑到当前策略下每个动作的可能性，它使用预期值而不是最大化下一个状态 - 动作对。 也就是说，考虑具有更新规则的算法 但这遵循Q学习的模式。 给定下一个状态St + 1，该算法在确定性方向上与Sarsa在移位中移动的方向相同，因此称为Erpected Sarsa。 其备份图如图6.4右侧所示。 图6.3：作为α的函数的TD控制方法对于cl...
《强化学习Sutton》读书笔记（五）——时序差分学习（Temporal-Difference Learning）
yucong96的博客
09-06 2134
此为《强化学习》第六章 Temporal-Difference Learning 。 时序差分学习 (Temporal-Difference Learning, TD) 是强化学习的核心。TD学习是蒙特卡洛MC法和动态规划DP法的综合，它可以像MC那样，不需要知道环境的全部信息，通过交互就能学习；同时，它也可以像DP那样，在（其他值函数）估计的基础上进行估计，从而不需要求解完整个事件(Episo...
强化学习基础知识详解
SmartLab307的博客
09-25 5531
强化学习基本概念 强化学习四要素：状态(state)、动作(action)、策略（policy）、奖励(reward)。 名词 解释 智能体 学习器与决策者的角色。 环境 智能体之外一切组成的、与之交互的事物。 动作 智能体的行为表征。 状态 智能体从环境获取的信息。 奖励 环境对于动作的反馈。 策略 智能体根据状态进行下一步动作的函数。 状态转移概率 智能体做出动作后进入下一状态的概率。 RL考虑的是智能体（Agen.
一文读懂AlphaGo背后的强化学习
02-25
第二部分，我们将构建并学习有关价值函数和Bellman(贝尔曼方程)的理论知识，它是强化学习中最重要公式，我们将一步一步地推导、解释，以揭开强化学习的神秘面纱。当然，本文只是尽力用最快、最直观的方式带你来理解...
DeepMind 强化学习中文讲义
02-11
DeepMind 强化学习中文讲义 DeepMind 强化学习中文讲义
深度强化学习中的迁移学习
09-20
本文综述了迁移学习在强化学习问题设置中的应用。RL已经成为序列决策问题的关键的解决方案。随着RL在各个领域的快速发展。包括机器人技术和游戏，迁移学习是通过利用和迁移外部专业知识来促进学习过程来帮助RL的一项...
多智能体强化学习Simulink模型
02-06
在本文中，我们将深入探讨“多智能体强化学习Simulink模型”的概念、结构和应用。多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）是机器学习领域的一个重要分支，它涉及到多个自主决策的智能体在共享...
[归纳]强化学习导论 - 第六章：时间差分学习
一棵孤独的树
05-03 1174
文章目录本章内容概要TD PredictionAdvantages of TD Prediction MethodsOptimality of TD(0)Sarsa: On-policy TD ControlQ-learning: Off-policy TD ControlExpected SarsaMaximization Bias and Double Learning参考文献 本章内容概要 ...
二十七、【人工智能】【机器学习】- 【数学基础】 之数学要素
技术分享、程序员趣事、行业趋势等内容！
08-01 744
正是在这样的背景下，虚数应运而生，其中 i 这个特殊的数，它的平方等于 −1，为我们打开了通往复数世界的大门。在接下来的内容里，我们将深入探讨复数的奇妙之处，包括它们的表示、运算以及与之相关的各种数学概念，如集合、向量、矩阵等。复数，用数学语言表示为 CC，是数学理论中不可或缺的一部分，它的存在不仅丰富了数学的结构，更在物理学、工程学以及计算机科学等领域发挥着至关重要的作用。标量乘法运算中，标量乘向量结果还是向量，标量乘法运算规则很简单，向量 a 乘以 k，a 的每一个元素均与 k 相乘。
【IEEE出版 | 连续五届稳定EI检索】第六届机器学习、大数据与商务智能国际会议（MLBDBI 2024）
m0_73083823的博客
08-02 580
深入和强化学习 网络的模式识别和分类 用于网络切片优化的机器学习 机器学习5G系统 用于用户行为预测的机器学习 新的创新机器学习方法 优化机器学习方法 机器学习算法的性能分析 机器学习的实验评估 异构网络中的数据挖掘 机器学习多媒体 物联网机器学习 机器学习的安全和保护 分布式和分散式机器学习算法等大数据分析 数据科学模型和方法 大数据的算法 智能计算方法和应用 进化计算和学习 群体智能与优化 信号处理和模式识别 图像处理与信息安全 虚拟现实与人机交互 商业智能和多媒体技术 医疗保健信息学理论与方法 自然语
李宏毅老师机器学习常见英语词汇
weixin_43597208的博客
08-03 96
李宏毅老师机器学习常见英语词汇
机器学习用python还是R，哪个更好？
最新发布
xianyinsuifeng的博客
08-05 322
选择使用Python还是R进行机器学习取决于多个因素，包括您的具体需求、项目要求、个人偏好以及团队的技能水平。
AI入门指南：什么是人工智能、机器学习、神经网络、深度学习？
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
08-02 1358
在《AI入门指南：什么是人工智能、机器学习、神经网络和深度学习？》这篇文章中，详细介绍了人工智能的基础概念和其发展历程。文章深入浅出地解释了人工智能（AI）和机器学习（ML）之间的区别，并探讨了神经网络与深度学习的基本原理及其应用场景。通过简单易懂的示例，读者可以清晰地了解这些技术是如何相互关联的，以及它们在现实世界中的实际应用，帮助读者快速入门并掌握AI的核心知识。
二十八、【人工智能】【机器学习】【PyTorch】- 手写体识别
技术分享、程序员趣事、行业趋势等内容！
08-05 716
PyTorch是由Facebook的人工智能研究实验室开发的一个开源机器学习库。它提供了动态计算图，使得构建和调整复杂的深度学习模型变得直观而高效。PyTorch的灵活性和易用性使其成为学术界和工业界广泛使用的工具之一。# 定义模型nn.ReLU(),nn.ReLU(),nn.ReLU(),# 定义损失函数和优化器。
Python 【机器学习】 进阶 之 【实战案例】MNIST手写数字分类处理 之 [ 训练二分类器 ] [ 性能评估 ] [ 准确率与召回率 ] | 1/2
仙魁XAN
08-05 469
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
机器学习第五章-神经网络
wastec的博客
08-05 814
基于梯度的搜索是使用最广泛的参数寻优方法，梯度下降法的主要思想就是沿着负梯度方向去搜索最优解，负梯度方向是函数值下降最快的方向，若迭代到某处的梯度为0，则表示达到一个局部最小，参数更新停止。感知机只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，其学习能力非常有限.所以应该采用多层功能神经元，如下图所示，输出层与输入层之间有一层神经元，被称为隐居或隐含层，隐含层和输出层神经元都是拥有激活函数的功能神经元.误差逆传播算法是更强大的学习算法，BP算法基于梯度下降策略，以目标的负梯度方向对参数进行调整。
深度强化学习在无人驾驶中的应用
它希望通过强化学习来实现对状态和行动知识的“暴力”传播，以增强决策能力。 深度强化学习是当前自动驾驶领域的一个关键研究方向。它结合了深度学习的特征提取能力和强化学习的决策制定过程。在自动驾驶系统中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值