TD3：双延迟深度确定性策略梯度

基本概念

TD3

TD3全称Twin Delayed Deep Deterministic Policy Gradient，中文名双延迟深度确定性策略梯度。简单来说TD3算法是一个相对于DDPG算法优化的版本。TD3算法在DDPG算法的基础上，主要有三个方面的优化：

1、网络结构的优化：TD3在DDPG基础上增加了一个Critic网络，主网络上TD3有2个Critic网络和一个Actor网络，同时Target目标网络也有主网络的一个备份。为什么增加一个Critic网络？原因很简单，增加一个Critic网络，就可以形成对比，通过选取最小的Q值，来避免持续过高的估计。这在只有一个Critic网络是做不到的，当然还可以再增加一个Critic网络。

2、更新方式的优化：DDPG网络的更新方式是Critic网络参数更新一次，Actor参数也跟着更新一次。但是在TD3网络中，并不是这样的，它采用延迟更新的策略。也就是说，Critic网络更新多次后，Actor网络才更新一次。

为什么采用延迟更新？这样做的目的主要是为了稳定Q值，减少一些错误的更新。想象一下，原本是最高点，当Actor好不容易到达最高点，Q值更新了，这里并不是最高点了。这是Actor只能转头再继续寻找新的最高点；更坏的情况是Actor被困在次高点，没能找到正确的最高点。

3、参数更新的优化：在更新Critic网络时候加入随机噪声$\tilde{a}$，以达到对Critic网络波动的稳定性。

Critic网络参数更新的方式为：

TD3算法的伪代码如下图所示：