机器人强化学习入门学习笔记(二)

       基于上一篇的《机器人强化学习入门学习笔记》，在基于 MuJoCo 的仿真强化学习训练中，除了 PPO（Proximal Policy Optimization）之外，还有多个主流强化学习算法可用于训练机器人直行或其他复杂动作。

---

🧠 一、常见强化学习算法对比（可用于 MuJoCo）

算法	类型	特点	适合场景
PPO（Proximal Policy Optimization）	On-policy	稳定、易调参，训练效率适中	MuJoCo官方推荐、机器人控制首选
SAC（Soft Actor-Critic）	Off-policy	探索强、样本效率高	多关节复杂任务、稀疏奖励
TD3（Twin Delayed DDPG）	Off-policy	避免过估计，适合连续控制	动作精细控制、稳定性好
DDPG（Deep Deterministic Policy Gradient）	Off-policy	最早的连续动作算法之一	适合学习基础
TRPO（Trust Region Policy Optimization）	On-policy	稳定但实现复杂	PPO的前身，现已较少使用

✅ 推荐顺序（MuJoCo 中的实用性）：PPO > SAC > TD3 > DDPG > TRPO

---

📌 二、原理讲解（简洁易懂）

（1）PPO算法

PPO 是由 OpenAI 提出的，是一种 策略梯度（Policy Gradient）方法的改进版本，它的目标是：

在不让策略变动太大的前提下，最大化策略更新的期望回报。

---

🧩 核心思想：限制策略更新幅度

策略梯度方法要优化目标函数：

但如果每次更新步长太大，会让策略发散（学崩），所以 PPO 引入了