最优策略（Optimal Policy）及贝尔曼最优方程（Bellman Optimally Equation）

---

1、最优策略（Optimal Policy）

强化学习的目标通常是找到一个策略使得它从初始状态出发能获得最多的期望回报。

首先定义策略之间的偏序关系：$\pi >{\pi }^{\prime }$，当且仅当对于任意状态 s 都有 $V^{\pi }(s)⩾V^{{\pi }^{\prime }}(s)$。

在有限状态和动作集合的MDP中，至少存在一个策略比其他策略都好或者一样好，这个策略就是最优策略，将最优策略定义为：${\pi }^{\ast }(s)$

最优策略的状态价值函数称为：最优状态价值函数

同理，最优动作价值函数：

为了使得$Q^{\ast }(s,a)$最大，需要在当前的 (s,a) 之后都执行最优策略，于是两者之间的关系：

2、贝尔曼最优方程（Bellman Optimally Equation）

3、参考文献

• Reinforcement Learning : An Introduction
• 深入浅出强化学习：原理入门
• Shusen Wang的《强化学习基础》视频，link：https://www.youtube.com/watch?v=XRGquU0ZJok
• 动手学强化学习，link：https://hrl.boyuai.com/