强化学习-几个基本概念

马尔科夫性

指系统的下一个状态仅与当前状态有关，而与以前的状态无关。
即：

马尔科夫过程

马尔科夫过程是一个二元组，且满足：S是有限状态集合， P是状态转移概率。状态转移概率矩阵为：

如：P的第一行表示，由状态1转到各个状态分别的概率
举例：

未来几天可能的一个序列是：多云–雨天–雨天–晴天–多云，形成一个马尔科夫链

马尔科夫决策过程MDP

马尔科夫决策过程（MDP）可以这样描述：
S 是一个有限状态集
A 是有限动作集
P 是状态转移概率（这里的P不同于马尔科夫过程中的P，因为它引入了动作A的因素，因此）
R 是回报函数

如图

S：S1，S2，S3
A：a0， a1
P : 比如，在状态S0采取动作a0，其转移概率为：0.5的概率到达S0，0.5的概率到达S2

策略policy

强化学习的目标是：根据给定的一个马尔科夫决策过程，寻找最优策略。
策略：是指状态到动作的映射。常用 表示
注意：所谓状态到动作的映射，并非指某个状态只对应一个动作，而是指一个状态下采取各个动作的概率，比如，0.2的概率执行a1动作，0.3的概率执行a2动作，0.5的概率执行a3动作，0的概率执行a4动作，这就是该状态下的策略

可用如下表达式：