强化学习中估计策略梯度的常用采样方式：MC采样和TD采样

在强化学习中，尤其是基于策略梯度的方法，策略朝着期望累积奖励最大化的方向调整是通过策略梯度的计算和更新实现的。在策略梯度定理中，表明了策略参数θ关于期望累积奖励J(θ)的梯度存在且可以计算。这个梯度的方向揭示了增大期望累积奖励的方向。

策略梯度定理指出，J(θ)关于θ的梯度（即期望累积奖励对参数的导数）可以表示为：

在实际应用中，由于无法直接计算期望值，通常采用采样的方式来估计这个梯度，即：

常用的采样方式包括MC采样和TD采样：

MC采样（Monte Carlo Sampling）：

MC采样是一种统计学方法，用于从概率分布中随机抽样以估计其性质，如期望值。强化学习中，MC方法利用大量Episodes的平均回报来估计状态值函数V(s)或动作值函数Q(s, a)。

通过实际执行一系列完整的Episode（即从开始到结束的游戏进程），并计算每个状态的平均回报，以此来估计状态的累积奖励。

例如，在策略评估阶段，从某个状态开始执行，直到游戏结束，收集到的实际回报序列可用于估计该状态的期望累积奖励。

假设要估计状态s的返回值，其公式可以表示为：

其中，G_t 是从时间步t开始到Episode结束的累计回报，R_i 是第i个时间步的即时奖励，γ 是折扣因子，T 是Episode结束的时间步。

TD采样（Temporal Difference Sampling）：

TD采样是一种结合了动态规划思想与MC采样的方法，它不需要等待一个Episode的结束就可以进行学习和更新。TD方法的关键在于它利用了即时奖励和下一个状态的预测值之间的差值（即TD误差）来进行学习。

TD方法主要有两种形式：

• TD(0) 或 Sarsa：对于状态值函数的更新公式为：

对于动作值函数的更新公式为：

• TD(n) 或 Q-Learning（n=1特殊情况）：Q-Learning在更新时不依赖于下一个状态选择的动作，而是假设始终选择最优动作：

【s、a为当前状态和动作，s'为下一个状态，r为即时奖励，γ为折扣因子，α为学习率，max Q(s', a')是对下一个状态的最优动作价值的估计】

通过这种方式，智能体在每一步都能根据当前经验来更新其对价值函数的估计，而不必等到Episode结束。

总结：

MC采样通过完整的Episode后进行更新，而TD学习在每个时间步都可以根据即时奖励和未来状态的估计值进行更新，因此TD学习通常比MC采样更新速度更快。