DDP、FDDP、BOXDDP算法概要

DDP、FDDP、BOXDDP算法

• DDP：适用于一般的最优控制问题，具有较好的数值稳定性。
• FDDP：改进了可行性，适用于需要严格满足动力学和约束条件的控制问题。
• BOXDDP：引入了控制输入约束，适用于存在物理限制的控制问题。

1. DDP（Differential Dynamic Programming）

基本原理

DDP是一种递归的最优控制算法，基于动态规划原理。它在给定初始条件和目标的情况下，通过迭代改进控制策略，使系统的轨迹逐步逼近最优轨迹。DDP通过线性化系统的动态方程和二次近似代价函数来求解。

特点

• 局部线性化和二次近似：在每个时间步，DDP对系统动态进行线性化，对代价函数进行二次近似。
• 递归贝尔曼方程：利用递归形式的贝尔曼方程，逐步更新最优控制策略。
• 数值稳定性：DDP算法在处理非线性系统时具有良好的数值稳定性。

2. FDDP（Feasibility-Driven DDP）

基本原理

FDDP是DDP的一种改进版本，重点在于确保每次迭代产生的控制输入和状态轨迹是可行的。它在每次迭代中调整控制输入，使系统轨迹尽可能满足动力学和约束条件。

特点

• 可行性：FDDP通过在迭代过程中调整步长和控制输入，确保生成的轨迹和控制输入是可行的。
• 快速收敛：通过改进步长选择和控制策略更新，FDDP在实际应用中通常比标准DDP更快收敛。

3. BOXDDP（Box-constrained DDP）

基本原理

BOXDDP是在DDP算法基础上，进一步考虑了控制输入的范围约束（即控制输入的上下限）。这对于实际应用中常见的物理限制非常重要。

特点

• 控制输入约束：通过引入约束处理机制，BOXDDP在迭代过程中始终考虑控制输入的上下限，确保生成的控制策略满足物理约束。
• 改进的优化策略：BOXDDP采用了改进的优化策略，以处理带约束的最优控制问题。