【强化学习】04.策略梯度（Policy Gradient）算法原理及对比分析

【强化学习】04.策略梯度（Policy Gradient）算法原理及对比分析

---

1.基本原理

策略梯度（Policy Gradient）方法是一类直接基于策略优化的强化学习算法。它的核心思想是通过参数化一个策略函数（policy），直接对策略的参数进行优化，使得在特定环境中累积的期望回报最大化。与值函数方法（如Q-learning或DQN）不同，策略梯度方法不显式地学习状态值函数或动作值函数，而是直接学习一个参数化的概率分布，用于决定在给定状态下采取哪种动作。

在策略梯度方法中，策略 ${\pi }_{\theta }(a|s)$ 表示在状态 $s$ 下采取动作 $a$ 的概率，参数 $\theta$ 是策略的参数。通过一个优化目标（通常是期望累积回报 $J(\theta )$），我们使用梯度上升或下降更新参数，使得策略不断改进。

目标函数：
$$J(\theta )={\mathbb{E}}_{\pi }\left[\sum _{t=0}^T{\gamma }^t{r}_t\right]$$

其中：

• $r_t$ 为时间步 $t$ 的奖励；
• $\gamma$ 是折扣因子，用于权衡短期与长期回报；
• ${\pi }_{\theta }$ 是当前策略。

策略梯度利用以下梯度公式进行优化：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\pi }[{\nabla }_{}$$