强化学习笔记03——有限马尔科夫过程

代理环境交互

在强化学习中，将学习器和决策器称为代理，而与代理交互的事物称为环境。可将问题认为代理与环境的交互。

代理会产生一个与环境对应的策略，用$\pi_{t}$表示，$\pi_{t}(a|s)$表示在状态为s的情况下采取动作a的概率。

目标与报酬

强化学习的目标就是最大化获得的报酬总和。
我们将代理与环境的一次完整交互过程称为一个episode.在一次episode中t时刻获得的期望回报可以写为：

T为最后一步的时间
在考虑衰减因子的情况下，可以写为：

在$\gamma<1$的情况下，$G_t$趋于有限值，且时间越近的报酬对$G_t$影响越大；当$\gamma=1$，即只考虑当前的报酬；当$\gamma=1$，即考虑将来的所有回报。

阶段性任务(Episodic Tasks)和连续任务(Continuing Tasks)

Episodic Tasks是在有限时间内采取只受到有限的报酬影响，相对Continuing Tasks更容易考虑。例如下图：

可将回报写为

$$G_{t}=\sum_{k=0}^{T-t-1}\gamma^{k}R_{t+k+1}$$
当 $T=\infty$或 $\gamma=1$回报为连续任务的回报，否则为阶段性任务的回报。

马尔科夫性质

看看下面的公式：
这个公式在计算下一步（状态是$s^{'}$、奖赏是r）的概率。
并说明这个概率是由至今为止所有的状态$S_∗$，行动$A_∗$和奖赏$R_∗$决定的。

若具有马尔科夫性质，这该公式可以简化为：

即下一步的状态和奖励仅仅与当前的状态和奖励相关。

马尔科夫决策过程

强化学习的问题满足马尔科夫条件时成为马尔科夫决策过程，一般情况下，都会提出马尔科夫的假设条件。
由此，给定当前状态和奖励即可求得下一状态和奖励，即：

此时由当前的状态和动作决定的期望报酬可以写为：

状态转移概率为：

当前状态下采取的策略都由该概率决定。
当下一状态确定的情况下，当前动作和状态决定的报酬可以写为:

值函数

值函数定义如下：

它代表的含义是在当前状态下获得报酬的期望。当采取的动作确定时，又有状态动作值函数：

这两种值函数可以相互转化：

该公式为Bellman equation
两种函数的备份图（backup diagrams）如下：

最优化值函数

强化学习的目标现在转变为最优化值函数即可，即：

或者

两者关系：

最优状态价值迭代方法: