从Task02开始,就进入到了强化学习的一些核心概念:
一、马尔可夫决策过程(MDP):
-
强化学习的基础数据模型,就是马尔可夫链(MC)。
-
强化学习四元素(智能体(机器)、动作、状态、奖励)构成了一个数据流转过程:
状态1 -> 动作1 -> 奖励1 -> 状态2 -> 动作2 -> 奖励2 .... -> 状态n -> 动作n -> 奖励n
其中的“状态”流转所构成的就是一个马尔科夫链,如下图:
图片来自 蘑菇书EasyRL
具体定义可以参考《统计学习方法》中的描述:
在马尔可夫链的基础上,加上一个奖励函数R,就可以由马尔可夫链/马尔可夫过程进一步扩展到马尔可夫奖励过程(Markov Reward Process, MRP)。
图片来自 蘑菇书EasyRL
而在MRP的基础上,再加上一个决策(动作),就构成了马尔可夫决策过程(Markov Decision Process)。即:MDP实际上描述的是,由四元素(智能体(机器)、动作、状态、奖励)所构成的强化学习模型,是如何在与环境交互的过程中进行学习的。MDP同时也描述了整个模型的数据流转过程。