强化学习中Qπ和Vπ的区别

YH美洲大蠊

已于 2024-03-09 16:24:06 修改

阅读量1k

点赞数 38

文章标签：人工智能机器学习

于 2024-03-09 16:00:30 首次发布

本文链接：https://blog.csdn.net/YHKKun/article/details/136577398

版权

在强化学习中，Qπ和Vπ分别代表动作价值函数和状态价值函数。

定义与性质：
- Qπ，即动作价值函数，表示在给定状态s下采取动作a，并遵循策略π的预期回报。它衡量的是在特定状态下采取特定动作的价值。因此，Qπ同时依赖于状态和动作，即它针对的是“状态-动作对”。
- Vπ，即状态价值函数，表示从状态s开始，遵循策略π的预期回报。它衡量的是在特定状态下遵循策略π的价值，与具体的动作无关，只与状态有关。因此，Vπ仅依赖于状态。
应用场景：
- Qπ在强化学习中被广泛应用于动作选择和价值评估。例如，在Q-learning算法中，智能体会根据Qπ的值来选择动作，并更新Qπ的值以改进其策略。通过不断优化Qπ，智能体可以学习到在给定状态下采取何种动作可以获得最大的预期回报。
- Vπ则更多地被用于评估状态的价值和制定策略。例如，在值迭代算法中，智能体会根据Vπ的值来更新其策略，并计算新的Vπ值以改进其对状态价值的评估。通过不断优化Vπ，智能体可以学习到在给定状态下遵循何种策略可以获得最大的预期回报。

附：贝尔曼方程

贝尔曼方程（将 Qπ 表示成 Qπ）

$Q_\pi \big(s_t , a_t \big)\;\; = \;\; {\mathbb E}_{S_{t+1}, A_{t+1} } \Big[ R_t + \gamma \cdot Q_\pi \big( S_{t+1}, A_{t+1} \big) \, \Big| \, S_t = s_t , A_t = a_t \Big] .$

贝尔曼方程（将 Qπ 表示成 Vπ）

$Q_\pi \big(s_t , a_t \big)\;\; = \;\; {\mathbb E}_{S_{t+1}} \Big[ R_t + \gamma \cdot V_\pi \big( S_{t+1} \big) \, \Big| \, S_t = s_t , A_t = a_t \Big] .$

贝尔曼方程（将 Vπ 表示成 Vπ）

$V_\pi \big(s_t \big)\;\; = \;\; {\mathbb E}_{A_{t}, S_{t+1}} \Big[ R_t + \gamma \cdot V_\pi \big( S_{t+1} \big) \, \Big| \, S_t = s_t \Big] .$

最优贝尔曼方程

$Q_\star \big(s_t , a_t \big) \; = \; {\mathbb E}_{S_{t+1} \sim p (\cdot | s_t, a_t) } \Big[ R_t + \gamma \cdot \max\limits_{A \in {\mathcal A}} Q_\star \big(S_{t+1} , A \big) \, \Big| \, S_t = s_t, A_t = a_t \Big] .$