《深入浅出强化学习原理入门》学习笔记（二）马尔科夫决策过程

1、MDP过程

强化学习的过程是动态的、不断交互的过程，所需要的的数据也是通过和环境不断交互产生的，很像人的学习过程，解决的是决策的问题。

深度学习如图像识别和语音识别解决的是感知的问题。

人工智能的最终目的是通过感知进行智能决策。所以近年来发展起来的深度学习技术和强化学习算法结合产生的深度强化学习算法是人类实现人工智能终极目的的一个很有前景的方法。

**马尔科夫决策过程（简称MDP过程）**可以解决大部分强化学习问题，下面按照马尔科夫性、马尔科夫过程、马尔科夫决策过程的顺序依次学习。

（1）马尔科夫性

⻢尔科夫性是指系统的下⼀个状态st+1 仅与当前状态st 有关，而与以前的状态⽆关。
状态st 是⻢尔科夫的，当且仅当P[st+1 |st ]=P[st+1 |s1 ，…，st ]，即st状态包含了所有相关的历史信息。

（2）马尔科夫过程

马尔科夫过程是⼀个⼆元组（S，P），且满足：
S是有限n个状态集合，P是状态转移概率。
状态转移概率矩阵为：