mdp框架_强化学习-MDP(马尔可夫决策过程)算法原理

1. 前言

前面的强化学习基础知识介绍了强化学习中的一些基本元素和整体概念。今天讲解强化学习里面最最基础的MDP(马尔可夫决策过程)。

2. MDP定义

MDP是当前强化学习理论推导的基石，通过这套框架，强化学习的交互流程可以很好地以概率论的形式表示出来，解决强化学习问题的关键定理也可以依此表示出来。

MDP(马尔可夫决策过程)包含以下三层含义:

“马尔可夫”表示了状态间的依赖性。当前状态的取值只和前一个状态产生依赖，不和更早的状态产生联系。虽然这个条件在有些问题上有些理想，但是由于它极大地简化了问题，所以人们通常会选择使用它。

“决策”表示了其中的策略部分将由Agent决定。Agent可以通过自己的行动改变状态序列，和环境中存在的随机性共同决定未来的状态。

“过程”表示了时间的属性。如果把Agent和环境的交互按时间维度展开，那么Agent行动后，环境的状态将发生改变，同时时间向前推进，新的状态产生，Agent将获得观测值，于是新的行动产生，然后状态再更新”

3. 价值函数

前面介绍了MDP的基本形式，我们发现游戏的关键在于策略(policy)，也就是如何做出决策与执行行动。在理想状态下，每一个行动都要为最终的目标——最大化长期回报努力，那么理论上只要能够找到一种方法，量化每一个行动对实现最终目标贡献的价值，这个方式就是用价值函数(简称值函数)来衡量。

值函数分两类：

状态值函数\(v_{\pi}(s)\):也就是已知当前状态s，按照某种策略行动产生的长期回报期望。

状态-行动值函数\(q_{\pi}(s,a)\):也就是已知当前状态s和行动a，按照某种策略行动产生的