[RL] 深入理解Tabular Leaning (MC/TD) 过程中的梯度下降使用

已于 2022-04-19 12:06:26 修改
阅读量456 收藏
点赞数
分类专栏： # RL # ML 文章标签： 机器学习 算法 人工智能
于 2022-04-19 11:58:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47553356/article/details/124270041
版权
RL 同时被 2 个专栏收录
4 篇文章 0 订阅
订阅专栏
ML
3 篇文章 0 订阅
订阅专栏

深入理解Tabular Leaning过程中的梯度下降使用：

  • i.e. Tabular Leaning：TD/MC/DP
  • 梯度下降: GD/SGD/Semi-GD

在强化学习中，众多Tabular算法均需要通过梯度下降来获取optimal weight (finding the global optimal point)，从而在Function Approximation（函数拟合学习）过程中更好的对value/policy进行更新。

一般情况下，我们在MC情况下使用SGD (效率远高于GD)，而我们对TD仅使用Semi-GD。此处的Semi-GD与SGD本质相同，使用Semi-GD（半梯度下降，可视为一种halfway失败的梯度下降）时效能下降则是因为本该仅受制于GD的weight同时受制于incremental leaning（TD为bootstrapping timestep-based leaning，基于step更新w值），其影响了常规SGD过程中对weight的更新，该冲突无法被有效解决，但Semi-GD（半梯度下降）依旧有效，且保障了online learning过程中可以有效执行weight优化。最终收敛于逼近local optimal point的临近位置；

  • GD在bootstrapping case下 (Semi-GD)，无法像general case下(e.g., MC)表现优异；
  • Semi-GD支持快速online/continuous学习主要适用于timestep-based learning (e.g., TD / DP)

Reference：
https://d3c33hcgiwev3.cloudfront.net/3DNhDLVwEem6HRJVmJRoIA_734570ad15244835be4b2e906c3400fd_RLbook2018.pdf?Expires=1650153600&Signature=OHM9Z-mNO1VQ77osPH4r-cFXJlMjLvVWSsPOwN8Mt6yCQRiOLH95B4vdXhwoOpekPAkslVxyyev57O9d23oMkk77fsVubIiBNI5pRKYF9G9sA4QoUJSWlCdS5tJcDv5Zuy7PWVkvT4oQmpd9CeimPqK7I29QxQ8YGHT~Ils_&Key-Pair-Id=APKAJLTNE6QMUY6HBC5A

Copyright：
CMPUT 365, University of Alberta

dénnnnnnnnnnn
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RL-tabular-solution-methods:表格形式的强化学习算法
04-06
RL表格解决方法 表格形式的强化学习算法。
强化学习:函数逼近动作价值函数中的半梯度下降法实现流程思维导图(结合TD算法)
赛亚茂的博客
07-28 208
强化学习:函数逼近动作价值函数中的半梯度下降法实现流程思维导图(结合TD算法)
Windy Gridworld: A simple implementation of Tabular RL(Sarsa and Q-learning)
WZX_Hello的博客
04-27 1455
ContentsDescription of the problem Description of the problem The windy gridworld is a simple example in the textbook. By programming to reproduce and solve this problem, I began to really understand Sarsa and Q-learning. Now I introduce this to you, and
强化学习RL学习笔记7-表格型方法（tabular methods）
liaojq2020的博客
12-07 842
强化学习笔记专栏传送 上一篇：强化学习RL学习笔记5-马尔可夫决策过程（MDP）(2) 下一篇：持续创作中… 目录强化学习笔记专栏传送前言MDP1.Model-based2.Model-free3.Model-based vs. Model-freeQ-tableModel-free Prediction1.Monte-Carlo Policy Evaluation2.Temporal Difference 前言 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强
【RL从入门到放弃】【二 表格型RL】
勿于浮沙筑高台
03-22 495
1、Q_learning 探索者游戏，从开始位置左右移动到终点位置，结束的时候奖励值为1，其余时刻奖励值为0 q_table/值函数矩阵 states + actions choose action Left或者right，how to choose action？ 行动策略（action policy）是ε-greedy策略，引入的一个参数是epsilon greedy， ...
TD使用手册之测试用例导出
03-02
《TD使用手册之测试用例导出》 在软件测试领域，测试用例的设计与评审是确保产品质量的关键环节。TestDirector（简称TD）是一款广泛使用的测试管理工具，它提供了丰富的功能来支持测试生命周期的管理。然而，对于...
电子测量中的几种基于TTCN的TD-SCDMA终端协议测试方法介绍
12-08
一、TTCN概述 ...第二点，能够定义和构造嵌入在ASP中的协议数据单元（PDU）；第三点，在指定控制和观察点（PCO）上，能够规定ASP的发送或接收顺序和能够构造测试例。 　二、协议软件测试 　目前协议测
pytorch_tabular:用于对表格数据的深度学习模型进行建模的标准框架
04-30
PyTorch Tabular旨在使利用Tabular数据进行的深度学习变得容易，并且现实世界中的案例和研究都可以访问。 库设计背后的核心原则是： 低电阻可用性 轻松定制 可扩展且易于部署 它建立在PyTorch （显然）和PyTorch ...
max-tabular:调试过程
05-31
快速：使用智能自动数据订阅，以便在需要时才加载表数据。 React式：随着您的集合数据发生变化，您的表格也会发生变化。 如果您在表外提供自己的过滤器按钮，您还可以被动地更新查询选择器。 可定制：支持您可以...
论文解读9——TabNet: Attentive Interpretable Tabular Learning
对流层的酱猪肘~的博客
10-09 1708
跟神经网络相比的话，决策树这类的树模型有以下几个特点：训练速度快、可解释性强、比较适合应用于表格数据。而神经网络有着较好的端到端学习的表征学习能力，可以减轻对特征工程的需求。所以这篇文章的想法就是让神经网络去模拟决策树的行为，从而获得这两者的能力。
#Paper Reading# TabNet: Attentive Interpretable Tabular Learning
John159151的专栏
06-11 1708
论文题目: TabNet: Attentive Interpretable Tabular Learning 论文地址: https://arxiv.org/abs/1908.07442 论文发表于: arXiv 2019 论文大体内容： 本文主要提出了TabNet模型，能够高效地在tabular数据上完成分类/回归的任务，且具可解释性。本文提出的模型是用DNN的方式获得树模型的可解释性，且超越树模型的效果。 Motivation： tabular数据一般都使用树模型去处理，怎么用DNN去实现树模型的效
强化学习——表格法 Tabular Methods
白水的博客
01-01 2252
本博客将介绍最简单的表格型方法(tabular methods)来讲解如何使用value-based方法求解强化学习过程。 文章目录1. 马尔科夫决策过程 MDP1.1. 基于模型的马尔科夫决策过程 Model-based1.2. 无模型的马尔科夫决策过程 Model-free1.3. 基于模型与无模型的对比2. Q表格 Q-table3. 无模型预测 Model-free Prediction 1. 马尔科夫决策过程 MDP 强化学习有三个要素：状态、动作和奖励。强化学习Agent跟环境是一步一步交互.
tabular Q-learning 二维空间搜索小例子
zhpwhy的博客
02-15 1500
莫烦python的强化学习教程中tabular Q-learning小例子是一个一维的空间，原文链接https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-1-general-rl/，本文将其改进为二维空间，代码如下. # -*- coding: utf-8 -*- """ Created...
强化学习系列（八）：Planning and learning with Tabular Methods（规划和离散学习方法）
LagrangeSK的博客
08-15 5421
一、前言 本章是对前面七章的一个总结归纳，前七章中我们首先介绍马尔科夫决策过程（MDP），而后介绍了求解环境模型已知的MDP的方法（model-based)——动态规划方法（DP)，启发式搜索也属于这类方法。最后针对环境模型未知(model free)的MDP，介绍了基于学习的强化学习方法——蒙特卡罗（MC）、时间差分（TD）等。前七章重点讨论了这两类方法的区别，但这两类方法也有以下共同点： ...
coding learning--开始
Discoverhfub的博客
07-16 297
新建c_test/ 建cpp文件：vim c.cpp vim基本使用 超详细的使用
DQN笔记：MC & TD
qq_40206371的博客
11-08 3686
1 前言 传统的强化学习算法会使用表格的形式存储状态值函数V(s)或状态动作值函数Q(s,a)，但是这样的方法存在很大的局限性。【强化学习笔记：Q-learning_UQI-LIUWJ的博客-CSDN博客】 现实中的强化学习任务所面临的状态空间往往是连续的，存在无穷多个状态，在这种情况下，就不能再使用表格对值函数进行存储。 在 Q-learning 中，我们使用表格来存储每个状态 s 下采取动作 a 获得的奖励，即状态-动作值函数Q(s,a)。然而...
强化学习（六）——策略梯度
LongXinKou的博客
03-22 1588
文章目录1. 演员、环境和奖励2. 最大化期望奖励 1. 演员、环境和奖励 （1）定义 演员就是一个网络，输入状态，输出动作。 环境就是一个函数，输入状态和动作，输出状态。 环境是基于规则的规则，是确定不变的。 奖励是在某一个状态下采取某个动作能够获得的分数。 环境是一个随机变量（因为状态和环境都是在一定分布下抽样获得的），我们可以计算的是奖励的期望值。 （2）某一个轨迹发生的概率 pθ(τ)=p(s1)pθ(a1∣s1)p(s2∣a1,s1)pθ(a2∣s2)p(s3∣a2,s2)⋯=p(s1)∏t=
强化学习（RLAI）读书笔记第六章差分学习（TD-learning）
无所知的博客
09-04 5376
第六章：Temporal-Difference Learning TD-learning算法是强化学习中一个独具特色而又核心的想法，结合了蒙特卡洛算法和动态规划的想法。和MC一样不需要环境模型直接从sample里学习，也像DP一样使用bootstrap通过别的状态值的估计更新当前状态值。首先也关注的是给定策略进行prediction或者叫policy evaluation。对于control（找...
《reinforcement learning：an introduction》第八章《Planning and Learning with Tabular Methods》总结
mmc2015的专栏
08-03 1650
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 8.1 Models and Planning By a model of the
tabular对齐input/output信号
最新发布
05-30
在数字电路中，Tabular Method（表格法）是一种用于化简布尔函数的方法。使用Tabular Method时，我们将布尔函数的真值表转换为一个二维表格。在输入和输出信号的列中，我们可以使用对齐的方式来更清晰地表示信号。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值