MDP五元组成员介绍

MDP（Markov Decision Process，马尔可夫决策过程）五元组是用来完全描述一个马尔可夫决策过程的基本组成部分，它是一个形式化的数学模型，用于解决强化学习环境中的决策问题。MDP五元组包括以下元素：

• 状态空间 𝑆：

  • 所有可能的状态集合，代表环境中智能体可以处于的不同条件或位置。智能体会在这些状态之间迁移。

• 动作空间 𝐴：

  • 智能体可以选择执行的所有可能行为或动作的集合。对于每一个状态 𝑠∈𝑆，智能体会从动作集合 𝐴 中选择一个动作 𝑎 执行。

• 状态转移概率 𝑃𝑠𝑎：

  • 表示从一个状态 𝑠 执行动作 𝑎 后转移到下一个状态 𝑠′ 的概率分布。用 𝑃(𝑠′∣𝑠,𝑎) 表示，意味着给定当前状态 𝑠 和采取的动作 𝑎，智能体到达新状态 𝑠′ 的概率。

• 奖励函数 𝑅：

  • 定义了一个从状态-动作对映射到即时奖励的函数。在执行动作 𝑎 后，智能体从状态 𝑠 转移到 𝑠′ 时获得的即时奖励记作 𝑅(𝑠,𝑎,𝑠′) 或者简写为 𝑟。

• 折扣因子 𝛾：

  • 是一个介于0到1之间的数值，它决定了对未来奖励的重视程度。值越接近1，说明智能体对未来奖励看得越长远，越注重长期利益；值越接近0，则更倾向于短期收益。