JoyDL_chapter11_DDPG&TD3

参考链接：https://datawhalechina.github.io/joyrl-book/#/ch11/main
一些非常经典的基于策略梯度的算法：DDPG 、TD3、PPO、SAC等算法，本文介绍DDPG、TD3，后者是在前者的基础上做了一些优化。DDPG是对DQN的一个连续动作空间版本扩展，因形似AC架构，故归为一种AC。

本章作业

1. DDPG是off-policy算法吗？为什么？

DDPG（Deep Deterministic Policy Gradient）是一种off-policy算法。
Off-policy算法的特点是在训练中可以使用先前收集的经验数据，而不仅仅依赖于当前策略产生的数据。DDPG满足这个条件的原因有以下几点：

1.经验回放（Experience Replay）： DDPG使用经验回放缓冲区，将智能体之前的经验存储在一个缓冲区中。在训练时，它可以从这个缓冲区中随机抽样，用于更新策略和值函数。这使得算法可以更有效地重用以前的经验，从而提高样本的利用效率，符合off-policy的特性。
2.目标网络（Target Networks）&