参考链接:https://datawhalechina.github.io/joyrl-book/#/ch11/main
一些非常经典的基于策略梯度的算法:DDPG 、TD3、PPO、SAC等算法,本文介绍DDPG、TD3,后者是在前者的基础上做了一些优化。DDPG是对DQN的一个连续动作空间版本扩展,因形似AC架构,故归为一种AC。
本章作业![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/7b3a272c206544deed9520c88aafd9c8.png)
1. DDPG是off-policy算法吗?为什么?
DDPG(Deep Deterministic Policy Gradient)是一种off-policy算法。
Off-policy算法的特点是在训练中可以使用先前收集的经验数据,而不仅仅依赖于当前策略产生的数据。DDPG满足这个条件的原因有以下几点:
1.经验回放(Experience Replay): DDPG使用经验回放缓冲区,将智能体之前的经验存储在一个缓冲区中。在训练时,它可以从这个缓冲区中随机抽样,用于更新策略和值函数。这使得算法可以更有效地重用以前的经验,从而提高样本的利用效率,符合off-policy的特性。
2.目标网络(Target Networks)&