马尔科夫决策过程知识详解1

本节介绍了深入浅出强化学习原理入门一书的马尔科夫决策过程一节。主要目的是整理其中知识点，以便日后复习所用。（侵删）
马尔科夫决策过程是一套可以解决大部分强化学习问题的框架，简称MDP。按照顺序分别介绍马尔科夫性，马尔科夫过程，以及马尔科夫决策过程。

一 马尔科夫性

马尔科夫性指的是系统的下一个状态S（t+1）仅与当前状态S（t）有关，与以前的状态无关。公式如下：
P[S(t+1)|S(t)] = P[S(t+1)|S(1),S(2),…,S(t)]

二 马尔科夫过程

随机过程就是随机变量序列，若随机变量序列中的每个状态都是马尔科夫的，则称其未马尔科夫随机过程。
马尔科夫过程是一个二元组（S,P），其中S是有限状态集合，P是状态转移概率。状态转移概率矩阵是：

如果S有5个状态S1,S2,S3,S4,S5，则形如

S1-S2-S5
S1-S2-S4-S5

上述状态序列未马尔科夫链。

马尔可夫过程中不存在动作和奖励，将动作和回报考虑在内的马尔可夫过程为马尔科夫决策过程。

三 马尔可夫决策过程

马尔科夫决策过程由元组（S,A,P,R,gamma）描述，其中，
S为有限状态集
A为有限动作集
P为状态转移概率
R为回报函数
gamma为计算累计回报的折扣因子。