【深度强化学习】动作价值函数Q、状态价值函数V

WilliamChou123

已于 2023-12-21 23:28:52 修改

阅读量2.7k

点赞数 33

分类专栏：深度强化学习（DRL）文章标签：算法机器学习人工智能

于 2023-12-16 21:32:57 首次发布

本文链接：https://blog.csdn.net/qq_40718185/article/details/135035928

版权

10 篇文章 1 订阅

订阅专栏

动作值函数（Action-Value Function）和状态值函数（State-Value Function）是强化学习中两个关键的价值函数，用于评估智能体的行为和状态。以下是它们的定义以及区别：

动作值函数 $Q(s, a)$ ：
- 定义： 表示在给定状态 $s$ 下，采取动作 $a$ 后获得的期望累积回报。
- 数学表示： $Q(s, a) = \mathbb{E}\left[ R_t \mid s_t = s, a_t = a \right]$
- 作用： 衡量在特定状态下采取某个动作的长期价值，帮助智能体做出最优的动作选择。
状态值函数 $V(s)$ ：
- 定义： 表示在给定状态 $s$ 下，从该状态开始按照某个策略采取动作所获得的期望累积回报。
- 数学表示： $V(s) = \mathbb{E}\left[ R_t \mid s_t = s \right]$
- 作用： 衡量在特定状态下按照某个策略的长期价值，帮助智能体评估当前状态的好坏程度。

区别与联系：

区别： 动作值函数关注在给定状态下采取某个具体动作的价值，而状态值函数关注在给定状态下按照某个策略行动的总体价值。
联系： 动作值函数和状态值函数之间有关系，特别是在策略确定的情况下。对于某个状态 $s$ 和动作 $a$ ，有 $Q(s, a) = V(s)$ 当且仅当智能体在状态 $s$ 时选择采取动作 $a$ 的概率为1。

这两个函数在强化学习中用于帮助智能体理解和优化其行为策略，以最大化累积回报。

关注