8、Planning and Learning with Tabular Methods（Dyna）

最新推荐文章于 2021-07-18 17:12:52 发布
最新推荐文章于 2021-07-18 17:12:52 发布
阅读量280 收藏 1
点赞数 1
分类专栏： RL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42104932/article/details/105661218
版权

文章目录

planning 和 learning 的统一：

planning methods：动态规划（DP）和启发式搜索（heuristic search）
learning methods：蒙特卡罗方法（MC）和时间差分方法（TD）

两种方法的核心都是值函数的计算，所以可以进行一定的整合。

 

1、 Models and Planning

1.1、Models

        通过环境 model，任何一个 agent 可以用来预测环境如何对其动作做出反应。给定一个状态和一个动作，模型就会预测下一个状态和下一个奖励的结果。

        如果模型是随机的，那么下一个状态和下一个奖励有几种可能，每种都有一定的发生概率。

对于随机的环境，有两种不同的模型：

  1. 分布式模型（distribution models）：模型对所有的可能性及其概率进行描述。例如，动态规划中假设的模型就是一个分布式模型，
  2. 样本式模型（sample models）：模型只产生一种可能性，根据概率抽样。

        分布式模型比样本式模型更强，因为它们总是可以用来生成样本。然而，在许多应用中，获得样本式模型要比获得分布式模型容易得多。

        模型可以用来模拟（simulate）或模拟经验（simulated experience）。给定一个起始状态和动作，一个样本式模型产生一个可能的转移，一个分布式模型产生所有可能的转移，并根据它们发生的概率进行加权。给定起始状态和策略，样本式模型可以生成整个episodes，而分布式模型可以生成所有可能的episodes及其概率。

 

1.2、Planning

        Planning这个词在不同的领域有不同的用法。在这里，是指代任何将模型作为输入并产生或改进与被建模环境交互的策略的计算过程：

在这里插入图片描述
根据定义，在人工智能中有两种不同的规划方法：

  1. state-space planning：在状态空间规划中，planning 主要被看作是在状态空间中寻找最优策略或实现目标的路径。动作导致状态之间的转移，值函数基于这些状态进行计算。
  2. plan-space planning：在计划空间规划中，planning 被看作是对计划空间的搜索。操作员将一个计划转换为另一个计划，如果有值函数，则在计划空间中定义。计划空间规划包括 进化方法 和 “partial-order planning“，这是人工智能中常见的一种规划，在规划的所有阶段，步骤的顺序并不是完全确定的。计划空间方法很难有效地应用于强化学习中所关注的随机最优控制问题。

所有的状态空间规划方法都有一个共同的结构：

  1. 所有状态空间规划方法都将计算值函数作为改进策略的关键中间步骤。
  2. 它们通过应用于模拟经验的备份操作来计算其值函数。

结构如下图所示：在这里插入图片描述

        Learning 和 Planning 方法的核心是通过备份操作来估计值函数。不同之处在于，Planning 使用的是由模型生成的模拟经验，而 Learning 方法使用的是由环境生成的真实经验。当然，这种差异会导致许多其他的差异，例如，在如何评估性能以及如何灵活地产生经验方面。

        但共同的结构意味着许多想法和算法可以在 planning 和 learning 之间转换。特别是在许多情况下，learning 算法可以代替 planning 方法的关键备份步骤。learning 方法只需要经验作为输入，在许多情况下，它们可以应用于模拟经验，就像应用于实际经验一样。

        基于 one-step tabular Q-learning 和来自样本模型的随机样本的简单planning 方法示例：该方法与实际环境下的one-step tabular Q-learning 收敛于最优策略的条件相同，也收敛于模型的最优策略，我们称之为 random-sample one-step tabular Q-planning。

在这里插入图片描述
 

2、Dyna: Integrating Planning, Acting, and Learning

        当 Planning 是在线完成的，同时与环境进行交互时，会出现许多有趣的问题。从交互中获得的新信息可能会改变模型，从而与 Planning 相互作用。如果决策和模型学习都是计算密集型过程，那么可用的计算资源可能需要在它们之间进行分配。

在 Planning agent 中，实际经验至少有两个作用：

  1. 模型学习（model-learning）：它可以用来改进模型（使它更准确地匹配真实的环境）。
  2. 直接强化学习（direct RL）：它使用强化学习方法可以直接改进值函数和策略。

experience、model、values 和 policy 之间的关系：

在这里插入图片描述

        注意到经验如何通过模型直接或间接地改进值函数和策略。后者有时被称为间接强化学习（indirect RL），它涉及到planning。

直接和间接强化学习各有利弊：

  1. 间接方法通常更充分地利用有限的经验，从而在较少的环境相互作用下实现更好的策略。
  2. 直接方法简单得多，不受模型设计中的偏差影响。

        Dyna-Q包括上图中所示的所有过程——planning, acting, model learning 和 direct RL——这些过程都是不断发生的。

Dyna agent的整体架构：
在这里插入图片描述

Tabular Dyna-Q 算法：

在这里插入图片描述
算法实现

 

3、When the Model Is Wrong

        模型可能是不正确的，因为环境是随机的，只有有限数量的样本已经被观察到，因为模型是使用函数逼近来学习的，或者只是因为环境已经改变，它的新行为还没有被观察到。当模型不正确时，planning 过程可能会计算出一个次优策略。

        在某些情况下，通过 planning 计算出的次优策略可以快速发现并修正建模误差。这种情况往往发生在模型乐观的情况下，即预测到比实际可能的更大的回报或更好的状态转移。规划好的策略试图利用这些机会，但在这样做时发现这些机会并不存在。

 

例1：Blocking Maze

        下图显示了一个Maze示例，该示例演示了这种相对较小的模型误差及其恢复。

        最初，从起点开始，通过障碍的右边，到达目标点，这是一条捷径，如图左上角所示。经过1000个时间步后，这条捷径被“阻塞”，而障碍的左边被打开，有一条更长的路径可以到达目标点，如图右上角所示。

        下图显示了 Dyna-Q agent 和 Dyna-Q+ agent 的平均累积奖励。图表的第一部分显示了两者在1000步内找到了捷径。当环境改变时，曲线变得平坦，这表明在这段时间内，agent 因为在障碍物后面徘徊而没有得到奖励。然而，过了一段时间，他们能够找到新的突破口和新的最佳行为，也就是找到了最左侧的开口，到达了目标点。在这里插入图片描述

 
        当环境变得比以前更好时，就会出现更大的困难——以前正确的策略并没有显示出改善。在这些情况下，建模误差可能在很长一段时间内都无法检测到。例2就说明了这个问题。
 

例2：Shortcut Maze

        最开始，最优的路径是绕过障碍物的左侧(左上角)。然而，在3000步之后，较短的路径会沿着右侧打开，而不会干扰较长的路径(右上角)。该图显示，Dyna-Q agnet 从未切换到快捷路径，事实上，它从未意识到它的存在。它的模型认为没有捷径，所以它规划得越多，就越不可能向右走并发现它。
在这里插入图片描述

 
        这里的普遍问题是探索和利用之间的另一种冲突。在 planning 环境中，探索意味着尝试改进模型的行动，而利用意味着在当前模型下以最佳方式行动。我们希望 agent 能够探索环境中的变化，但不希望性能大大降低。在早期的探索/利用冲突中，可能没有既完美又实用的解决方案，但是简单的试探法通常是有效的。

        解决 Shortcut Maze 的 Dyna-Q+ agent 使用了这样一种启发式搜索。agent 跟踪每个状态-动作对在与环境的实际交互中的最后一次尝试以来经过了多少个时间步。时间越长，这对组合的动态变化和模型不正确的可能性就越大(假设)。为了鼓励那些很久未尝试的行为，在涉及这些行为的模拟经验中，会有一个特别的“奖励”。
 

4、Prioritized Sweeping

        在随机环境中，估计的转移概率的变化导致更改大小的变化和需要备份哪些状态-动作对的紧急程度。根据紧急程度对备份进行优先级排序。每个状态-动作对由一个队列来保存，如果备份时其估计值会发生变化，则根据更改的大小确定优先级。当处于队列顶部的状态-动作对进行备份时，将计算它对每个前一对的影响。如果影响大于某个小阈值 θ \theta θ，则使用新的优先级将该对插入到队列中（如果前一对已经在队列中，则提高该对的优先级）。以这种方式，变化的影响被有效的向后传播，直到稳定。

在这里插入图片描述
算法实现

 

5、Planning as Part of Action Selection

关于 planning，通常有两种思考方式：

  1. 以动态规划和 Dyna 为代表的 planning，认为规划是一种策略或值函数的逐步改进，这种改进一般适用于所有的状态，而不是针对任何特定的状态。
  2. 把 planning 作为动作选择的一部分。planning 是在遇到每一个新的状态之后开始和完成的，作为一个计算，它的输出并不是一个真正的策略，而是一个简单的决定——动作；在下一步，planning在新的状态重新开始生成新的动作，以此类推。
     

6、Heuristic Search

人工智能中经典的状态空间规划方法是将 planning 作为行动选择的方法，统称为启发式搜索（Heuristic Search）。
在这里插入图片描述
 

7、Monte Carlo Tree Search

蒙特卡罗树搜索(MCTS)是将 planning 作为策略的一部分的最简单的例子之一。

MCTS的每次迭代分为四个阶段：

  1. Selection：当前树中的一个节点被一些有根据的方法选择为最有希望进一步探索的节点。
  2. Expansion：通过添加一个或多个节点作为其子节点，可以从所选节点展开树。每个新的子节点现在都是部分树的叶子节点，这意味着在构建树的过程中还没有访问过它的任何可能的移动。
  3. Simulation：在一定方式的指导下，这些叶节点中的一个将被选择为一个完整游戏的模拟的开始。
  4. Backpropagation：模拟游戏的结果被备份，以更新或初始化方式附加到MCTS迭代中所遍历的部分游戏树中的链接的统计信息。

 

8、Expected vs. Sample Updates

        值函数的更新有许多不同的类型。考虑一步更新方法，有下图所示7种方法。在没有分布模型的情况下，期望更行方法是不可行的，但是可以使用采样更新方法。

         一般期望更新方法比采样更新方法更好。期望更新方法会产生更好的估计值，因为不会受到采样误差的干扰；但是它们需要更多的计算。当具有很大的随机 branching factors （下一个可能状态的数量，用 b 表示）以及太多状态无法精确求解时，采样更新方法优于期望更新方法。

在这里插入图片描述

Jacob Jiang
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习系列（八）：Planning and learning with Tabular Methods（规划和离散学习方法）
LagrangeSK的博客
08-15 5409
一、前言 本章是对前面七章的一个总结归纳，前七章中我们首先介绍马尔科夫决策过程（MDP），而后介绍了求解环境模型已知的MDP的方法（model-based)——动态规划方法（DP)，启发式搜索也属于这类方法。最后针对环境模型未知(model free)的MDP，介绍了基于学习的强化学习方法——蒙特卡罗（MC）、时间差分（TD）等。前七章重点讨论了这两类方法的区别，但这两类方法也有以下共同点： ...
8 Planning and Learning with Tabular Methods
coffee_cream的博客
09-16 1141
【上一节 [Multi-step Bootstrapping] (https://blog.csdn.net/coffee_cream/article/details/81053960)】 本节创建了一种统一的方法视图，其中既包括需要一个环境模型）的方法（如动态编程、启发式搜索等，也包括一些不依赖于模型的方法（如蒙特卡洛、temporal-difference等），这里将前者视为是一种 plan...
Planning and Learning with Tabular Methods: Part 1
WZX_Hello的博客
07-18 264
ContentsModels and PlanningPlanning and learning methodsRandom-sample one-step tabular Q-planningDyna: Integrated Planning, Acting, and LearningThe reason to put forward Dyna-QModel learning and direct RLDyna-Q Methods of reinforcement learning fall into t
Chapter 8 Planning and Learning with Tabular Methods
学而时习之
06-27 693
Model-based方法依赖于planning，将模型作为输入并产生或改进与模拟环境交互的策略； Model-free方法依赖于learning，将环境的真实experience作为输入； 现在把两种方法结合起来。 8.1 Models and Planning...
《强化学习Sutton》读书笔记（七）——列表法的计划与学习（Planning and Learning with Tabular Methods）
yucong96的博客
09-12 868
此为第八章 Planning and Learning with Tabular Methods 。 在上述章节中，我们已经看到了DP是基于模型 (Model-Based) 的，而MC和TD是模型无关的 (Model-Free) 。基于模型的方法中，Planning（下文定义这个词）是最主要的一步；而对于模型无关的问题，Learning是最核心的步骤。Planning和Learning有很多异同...
pytorch_tabular:用于对表格数据的深度学习模型进行建模的标准框架
04-30
PyTorch Tabular旨在使利用Tabular数据进行的深度学习变得容易，并且现实世界中的案例和研究都可以访问。 库设计背后的核心原则是： 低电阻可用性 轻松定制 可扩展且易于部署 它建立在PyTorch （显然）和PyTorch ...
RL-tabular-solution-methods:表格形式的强化学习算法
04-06
RL表格解决方法 表格形式的强化学习算法。
Deep Reinforcement Learning with Double Q-learning论文分享.pdf
05-16
We then show that the idea behind the Double Q-learning algorithm, which was introduced in a tabular setting, can be generalized to work with large-scale function approximation. We propose a specific...
winq.tabular.js
06-18
前端小型表格
deep_learning_for_tabular_data:概念性展示和数据生成器使TensorFlow和Keras的表格数据更易于使用
05-25
deep_learning_for_tabular_data 深度学习还可用于基于表格数据的预测，表格数据是您最常在数据库和表中找到的数据。 在本研讨会的演示会议上，将讨论这种方法的工作原理，以及它在更流行的机器学习算法（例如梯度...
强化学习（RLAI）读书笔记第八章表格方法的规划与学习
无所知的博客
09-07 2117
第八章：Planning and Learning with Tabular Methods 本章为需要环境的model-based强化学习方法（如DP和启发式搜索）和不需要环境的model-free方法（比如MC和TD）提供一个统一的论述框架。基于模型的方法依赖规划（planning）而无模型的强化学习方法依赖学习（learning）。这两种方式有很多不同也有很多相似点。特别的是这两种方法都是...
蓝桥杯Java组的准备
qq_43600941的博客
10-15 1万+
蓝桥杯（Java B组）的总结 Scanner类 使用Scanner类的三步： 导包 创建一个Scanner的对象 用Scanner对象调用相应的方法 java中的从键盘输入主要是依赖于Scanner类，下面将介绍Scanner类的一些比较常见并且重要的方法。 1.nextInt()/nextFloat()/nextDouble()… 这种只会读取一个数值，并且不会读取最后的换行符’\n’ 2.String nextLine() 扫描的是一行数据，并且当作字符串来处理，不会读取最后的换行符’\n
reinforcement learning，增强学习：Integrating Learning and Planning
mmc2015的专栏
12-04 2335
好长时间没跟新了，这期间有好多事情（华为、微博、算法课），现在把最后几节课拾起来。 上节课内容和本节课内容 1）Model-Free和Model-Based的区别： Model-Free RL： No model Learn value function (and/or policy) from experience Model-Based RL
《reinforcement learning：an introduction》第八章《Planning and Learning with Tabular Methods》总结
mmc2015的专栏
08-03 1648
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 8.1 Models and Planning By a model of the
tabular Q-learning 二维空间搜索小例子
zhpwhy的博客
02-15 1497
莫烦python的强化学习教程中tabular Q-learning小例子是一个一维的空间，原文链接https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-1-general-rl/，本文将其改进为二维空间，代码如下. # -*- coding: utf-8 -*- """ Created...
莫烦大神的pytorch教程，406-GAN，在torch 1.5版本上运行会报错的解决方法
孙权打的博客
07-22 6913
莫烦大神的pytorch教程，406-GAN，在torch 1.5版本上运行会报错 RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [128, 1]], which is output 0 of TBackward, is at version 2; expected version 1 inste
Dyna - 结合模型学习和直接强化学习
zhaoying9105的博客
06-12 1541
model_free的算法可以和模型学习结合。 方法是向环境（environment）传递了S,A后获得反馈S_，R，保存这个关系，记为 S_,R = Model(S, A)，如此多次就学习了model的一部分，就像是有了对外界环境的想象，如此就可以在不接触外界环境的情况下进行学习。Q-learning和模型学习结合就是Tabular Dyna-Q方法：Initialize Q(s,a)Q(s,
RLAId读书笔记-第八章-Planning and Learning
cuixuange的博客
08-29 267
Planning and Learning with Table 向前搜索 采样 8.1 models and Planning distribution model –返回所有可能的Action以及其概率 sample model– 根据概率返回一种行为 样本模型的数学公式: R,S’ = model(S,A) planning model==动态规划 启发式查询 都是通过模型...
强化学习（Dyna-Q，Dyna2）
热门推荐
nakaizura
03-28 1万+
基于模型的强化学习（Model Based RL） Value Based --Policy Based --Model Based Value Based学习价值来指导策略，Policy Based直接学习策略以收获最大价值，还有将两者融合的AC。但是在学习价值或策略都十分困难的时候（如某千变万化的围棋），学习模型可能更好，即睁开眼睛看世界，尝试理解所处的环境，通过完成对环境的基本理解来指导强化...
neural oblivious decision ensembles for deep learning on tabular data
最新发布
09-19
"neural oblivious decision ensembles for deep learning on tabular data" 是一种用于表格数据深度学习的神经网络无意识决策集合方法。在传统的深度学习中，神经网络往往以端到端的方式进行训练，对于每个输入样本...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值