一文搞懂策略梯度（Policy gradient）算法（一）

引言

在强化学习的过程中，从 Sarsa 到 Q-learning 再到 DQN，本质上都是值函数近似算法。
值函数近似算法都是先学习动作价值函数，然后根据估计的动作价值函数选择动作。如果没有动作价值函数的估计，策略也就不会存在。 例如，DQN的神经网络结构可以表示为如下图所示：

图中，输入是状态 $s$，输出是每个动作的 $Q$ 值，即对每个动作的评分，分数越高意味着动作越好。通过对值函数的近似，我们可以知道回报最大的路径，从而指导智能体进行动作的选取。

但是，强化学习的目标，是学习最优策略。那么有没有一种可能，我们可以跳过动作价值的评估环节，直接从输入状态，到输出策略呢？
——策略梯度算法

在策略梯度算法中，策略函数的输入是状态 $s$ 和动作 $a$，输出是一个0到1之间的概率值，当前最有效的方法是用神经网络近似策略函数。给出一个策略网络结构图：

如图，在策略网络结构中，输入是状态 $s$，输出是动作空间中每个动作的概率值。

两个关键

现在我们已经有了想法——直接从输入得到最优策略，那么随之而来
两个问题：
1、如何来衡量一个策略的好与坏？
2、如何搜索最优策略？

先来看看《强化学习》中关于策略梯度算法的定义：

策略梯度方法基于某种性能度量 $J(\theta )$ 的梯度，这些梯度是标量 $J(\theta )$ 对策略参数的梯度。这些方法的目标是最大化性能指标，所以它们的更新近似于 $J$ 的梯度上升
梯度上升：${\theta }_{t+1}={\theta }_t+\alpha \widehat{\nabla J({\theta }_t)}$
其中， ∇ J ( θ t ) ^