马尔可夫决策过程(MDP)

1.什么是马尔可夫性？

马尔可夫性(无后效性)，也就是指系统的下个状态只与当前状态信息有关，而与更早之前的状态无关。

2.什么是马尔可夫决策过程？

马尔可夫决策过程（MDPs）以安德烈马尔可夫的名字命名 ，针对一些决策的输出结果部分随机而又部分可控的情况，给决策者提供一个决策制定的数学建模框架。MDPs对通过动态规划和强化学习来求解的广泛的优化问题是非常有用的。MDPs至少早在20世纪50年代就被大家熟知（参见贝尔曼1957年）。大部分MDPs领域的研究产生于罗纳德.A.霍华德1960年出版的《动态规划与马尔可夫过程》。今天，它们被应用在各种领域，包括机器人技术，自动化控制，经济和制造业领域。
更确切地说，一个马尔可夫决策过程是一个离散时间随机控制的过程。在每一个时阶（each time step），此决策过程处于某种状态 s ，决策者可以选择在状态 s 下可用的任何动作 a。该过程在下一个时阶做出反应随机移动到一个新的状态 s’，并给予决策者相应的奖励 Ra(s,s’)。

马尔可夫决策过程由五个关键元素{S,A,P,R,γ}组成

S代表状态集合
A代表动作集合
P是三维概率矩阵

R是回报函数，R: