论文总结：深度确定性策略梯度算法（DDPG）

雨生晴朗

已于 2025-03-07 09:29:41 修改

阅读量924

点赞数 29

文章标签：算法强化学习

于 2025-03-07 09:27:12 首次发布

本文链接：https://blog.csdn.net/yushengqinglang/article/details/146086081

版权

DDPG是一种确定性策略梯度算法，是在DPG的研究基础上继续进行的，没看过DPG文章的友友，可以点这个链接论文阅读总结：确定性策略梯度算法（Deterministic Policy Gradient Algorithms）DPG-CSDN博客

1. 研究背景

深度确定性策略梯度（DDPG） 将确定性策略梯度（DPG）与深度神经网络结合，提出端到端的模型 - free 算法，适用于高维连续动作空间。
稳定性改进
- 经验回放（Replay Buffer）：存储历史经验，打破数据相关性，支持批量训练。
- 目标网络（Target Network）：通过软更新（\(\tau \ll 1\)）稳定 TD 目标，避免发散。
- 批量归一化（Batch Normalization）：处理状态空间的尺度差异，提升泛化能力。
多模态输入支持 成功从原始像素输入学习策略（如 64x64 图像），扩展了强化学习的应用场景。

架构
- Actor 网络：输出确定性策略 \(\mu(s|\theta^\mu)\)（如 MLP 或 CNN）。
- Critic 网络：估计动作值函数 \(Q(s,a|\theta^Q)\)，输入包含状态和动作。
- 目标网络：独立的 \(Q'\) 和 \(\mu'\)，参数通过软更新跟踪主网络。
训练流程
1. 探索：使用 Ornstein-Uhlenbeck 噪声生成动作序列，存储到回放缓冲区。
2. 更新 Critic：最小化 TD 误差：\ \(y_i = r_i + \gamma Q'(s_{i+1}, \mu'(s_{i+1})|\theta^{Q'})\)
3. 更新 Actor：沿动作值梯度优化策略：\ \(\nabla_{\theta^\mu} J \approx \mathbb{E}_{s \sim \rho^\beta} \left[ \nabla_a Q(s,a|\theta^Q) \nabla_{\theta^\mu} \mu(s|\theta^\mu) \right]\)

任务覆盖
- 经典控制：CartPole 摆起、双摆平衡。
- 机器人控制：猎豹奔跑（20 维动作）、人形机器人行走、章鱼臂操作。
- 自动驾驶：Torcs 赛车游戏（像素输入）。
- 像素输入：直接从原始图像学习策略，性能接近低维状态输入。
性能对比
- 基准对比：DDPG 在多数任务中达到或超过基于模型的规划算法（如 iLQG）的性能。
- 消融实验：目标网络和批量归一化是稳定性的关键，缺少任一组件会导致性能显著下降。

DDPG 通过引入深度神经网络、经验回放和目标网络，解决了高维连续动作空间的控制问题，在 20 多个复杂任务中取得突破性进展。其核心创新在于将深度学习与确定性策略梯度结合，为机器人控制、自动驾驶等领域提供了高效且稳定的解决方案，为后续深度强化学习方法（如 SAC、TD3）奠定了基础。