react如何获取option的下标和值_option 方法笔记3

原文 Between MDPs and semi-MDPs: A Framework for Temporal Abstraction in Reinforcement Learning - Sutton, Richard S. and Precup, Doina and Singh, Satinder

感觉基础不行，就拿这篇文章复习复习（水平有限，主要是翻译）

这篇论文太多了。老有种云里雾里的感觉，还是先看一下中文相关论文能更清楚其中的一些原理

主要idea

在SMDP的基础上，扩展了mdp中动作的概念，提出了option选项。本质上就是在一个连续的时间步上存在连续的动作。即所谓的时间抽象-option.

4. Interupting options

SMDP方法适用于选项，但只有当它们被视为不透明的不可分割的单元时才适用。更有趣和更强大的方法可以通过查看内部选项或改变它们的内部结构来实现，就像本文的其余部分所做的那样。在本节中，将迈出第一步，修改选项，使其更有用。可以根据SMDP分析选项，然后使用它们的mdp解释来更改它们并生成一个新的smdp。

特别是，在本节中，考虑在根据终止条件option自然终止之前中断option. 注意，将选项作为不可分割的单元来处理，就像SMDP方法一样，是不必要的限制。一旦选择了一个选项，这些方法就需要遵循它的策略，直到该选项终止为止。

假设时刻t正在执行选项o ，如果o是Markov，然后，可以继续与o，即

的值与中断o的值比较，并根据

选择一个新的选项，策略u满足

如果中断的价值更高，那么允许中断并进行切换。

在下面的理论中，描述了一种新的行为方式，即遵循与原始策略

相同的策略

，但对新的一组选项；对于所有的s∈S，

。每个新选项O'都与相应的旧选项o相同，只是在切换比继续切换更好的时候，它就终止了。称u'为u 的 一个中断策略 。

Theorem2 (Interruption ) 对于任意MDP，任意options组O，任意markov策略

,定义一组新的选项，O'，在这两个选项集之间进行一对一的映射，如下所示：每一个选项

,定义了一个对应的

,其中β'=β，但对于任何以状态s结尾且