强化学习-马尔可夫决策过程-2020.11.30

马尔可夫决策过程

Markov Process（MP）

上图就表示了在强化学习中智能体与环境交互的情况，这个交互过程就是通过马尔可夫决策过程来体现的。他的环境是full observable（完全可观测） 的。有些时候，某些不可观测的量也可以转化为MDP问题。

• 如果一个状态是马尔可夫的，那就是说一个状态的下一个状态只取决于它当前状态，而跟它当前状态之前的状态都没有关系。（即是说：当前时刻状态S的下一个状态S1，只跟当前的S有关，与过去的状态无关）

马尔可夫链

• 马尔可夫链。例如：四个状态的转化：
  
  可以看出每一行描述的是从一个节点到另一个节点的概率。
• 下图是马尔可夫决策链的例子：