强化学习原理python篇01——基本概念

本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcement-Learning Basic Concepts章节，请各位结合阅读，本合集只专注于数学概念的代码实现。

通过一个例子来介绍强化学习的基本概念。

网格世界例子

如下图所示，有一个机器人在该网格世界中，他的目标是 目标方块 并且只能在白色方块中移动，一次只能移动一步，那如何找到 最好的策略 去找到目标点呢？

对我们（上帝视角）来说，知道网格世界的地图是非常重要的，对机器人来说，他不知道地图的任何信息，他该如何找到目标呢?

状态和行动

状态

定义：描述机器人在该环境中所处的场景

在该任务中，每一个方块队机器人来说就是一个状态，用数学符号$s$表示，下表表示方块的位置，则九个方块的所有状态表示为：
$$S=s_1,...,s_9$$

行动

定义：机器人在某一状态时，可以采取的措施和动作

在该任务中，当机器人处于其中一个方块中时，他有五种选择，向上走，向右走，向下走，向左走，保持不动，用数学符号$a$表示，则五个方块的所有状态表示为：
$$\mathrm{A}=a_1,...,a_5$$

状态转移

当发生行动是，机器人的状态就改变了，比如在$s_1$状态向右移动到$s_2$状态，用数学符号表示为
$$s_1\stackrel{a_2}{\to }{s}_2$$
对每一个状态来说就会有不同的状态转移，如下所示

策略

处于某一状态时，可以采用的行动。

则处于s1的策略为：
$$\begin{gathered} \pi (a_1|s_8)=0.5 \\ \pi (a_2|s_8)=0.5 \\ \pi (a_3|s_8)=0 \\ \pi (a_4|s_8)=0 \\ \pi (a_5|s_8)=0 \end{gathered}$$
表示机器人在第八个小方块，有0.5概率向上走，0.5概率向右走。

鼓励

对机器人来说，达到target则奖励数值为1，碰到forbiden和边界，奖励值为-1，其余情况为0。
$$\begin{gathered} r_{boundary}=-1 \\ {r}_{forbiden}=-1 \\ {r}_{target}=1 \\ {r}_{other}=0 \end{gathered}$$

trajectories,returns, and episodes

trajectory 是状态-行动-鼓励的链条
return 是链条所获得的鼓励的集合
discounted return 对后面的步骤的鼓励控制权值，使得数列重视不同步骤的鼓励
$$discountedreturn={\gamma }^3(1+\gamma +{\gamma }^2+...)=\gamma 3\frac{1}{1-\gamma }$$
episode: 表示一个有限的trajectory ，控制trajectory 的长度

MDPs（Markov decision processes）

MDPs：马尔科夫链过程
状态转移和改状态前的状态无关。
数学符号表示为
$$p(s_{t+1}|s_t;a_t;s_{t-1};a_{t-1};...;s_0;a_0)=p(s_{t+1}|s_t;a_t)$$

Ref

Mathematical Foundations of Reinforcement Learning，Shiyu Zhao