Apollo代码学习(七)—MPC与LQR比较

前言

Apollo中用到了PID、MPC和LQR三种控制器，其中，MPC和LQR控制器在状态方程的形式、状态变量的形式、目标函数的形式等有诸多相似之处，因此结合自己目前了解到的信息，将两者进行一定的比较。

MPC( Model predictive control， 模型预测控制 ) 和 LQR( Linear–quadratic regulator，线性二次调解器 ) 在状态方程、控制实现等方面，有很多相似之处，但也有很多不同之处，如工作时域、最优解等，基于各自的理论基础，从研究对象、状态方程、目标函数、求解方法等方面， 对MPC和LQR做简要对比分析。对MPC的详细讲解请参考我的上一篇博文：Apollo代码学习(六)—模型预测控制(MPC)

本文主要参考内容：
【1】龚建伟, 姜岩, 徐威. 无人驾驶车辆模型预测控制[M]. 北京理工大学出版社, 2014.
【2】Model predictive control-Wikipedia
【3】Linear–quadratic regulator-Wikipedia
【4】Inverted Pendulum: State-Space Methods for Controller Design
【5】王金城. 现代控制理论[M]. 化学工业出版社, 2007.

研究对象

LQR的研究对象是现代控制理论中以状态空间方程形式给出的线性系统。MPC的研究对象可以是线性系统，也可以是非线性系统，只不过为了某些需求，如时效性，计算的便捷，操控性等，一般会将非线性系统转换为线性系统进行计算。非线性系统的线性化可参考上一篇文章。

Apollo中，LQR和MPC控制器都选用的单车动力学模型作为研究对象，单车动力学模型为非线性系统，但LQR和MPC控制器的目的是为了求最优控制解，在具体的优化求解时，均通过线性化方法将状态方程转化为线性方程进行求解，所以，可以说apollo中LQR和MPC控制器的研究对象均为线性系统。

状态方程

LQR的状态方程多以微分方程的形式给出，如：
$$\dot{x}=Ax+Bu\text{\hspace{1em}(1)}$$
是一个连续线性系统，在计算过程中需要转换为如公式3的离散线性系统。
MPC的状态方程可以为线性系统，可以为非线性系统，非线性系统形如下：
$$\dot{\xi }=f(\xi ,u)\text{\hspace{1em}(2)}$$

线性系统如公式3所示：
$$x(t+1)=Ax(t)+Bu(t)\text{\hspace{1em}(3)}$$
但LQR和MPC在计算求解时基本都是基于离散线性方程计算的。公式1可以很方便的转化为公式2的形式。离散化的方法可参考上一篇文章：Apollo代码学习(六)—模型预测控制(MPC)

工作时域

按照维基百科的说法：

The main differences between MPC and LQR are that LQR optimizes in a fixed time window (horizon) whereas MPC optimizes in a receding time window, and that a new solution is computed often whereas LQR uses the single (optimal) solution for the whole time horizon.

LQR在一个固定的时域上求解，且一个时域内只有一个最优解，而MPC在一个逐渐消减的时域内( in a receding time window )求解最优解，且最优解经常更新。
可以结合MPC的滚动优化，以及图1进行理解：

图1 MPC和LQR的工作时域

针对同一工作时域$[t,t+N]$，LQR在该时域中，有唯一最优控制解$u^{\ast }(t)$，而MPC仅在$t$时刻有最优解$u^{\ast }(t)$，但它会计算出一个控制序列$U(t)$，并仅将序列的第一个值$u^{\ast }(t)$作为控制量输出给控制系统，然后在下一采样时间结合车辆当前状况求取下一个最优控制解$u^{\ast }(t+1)$，这就是MPC所谓的滚动优化。这么做的目的是为了使控制效果在一定时间内可期，并且能根据控制效果尽早调整控制变量，使实际状态更切合期望状态。
此外，LQR的工作时域可以拓展到无限大，即可以求取无限时域的最优控制解，当然，一般并不会这么用。而MPC只针对有限时域。

目标函数

优化求解问题一般离不开目标函数的设计。
LQR的目标函数的一般形式为：
$$J=\frac{1}{2}{x}^T(t_f)Q_0(t)x(t_f)+\frac{1}{2}{\int }_{t0}^{tf}[x^{T}Qx+u^{t}Ru]dt\text{\hspace{1em}(4)}$$
其中，$x(t_f)$为终端状态，$Q_0(t)$为正定的终端加权矩阵，$x$为状态变量，多为各种误差，$u$为控制变量，$Q$为半正定的状态加权矩阵，$R$为正定的控制加权矩阵，实际应用中，$Q、R$多为对角矩阵。
MPC的目标函数的一般形式为：
$$J=x(t+N{)}^T{Q}_{0}x(t+N)+\sum _{i=1}^N(x(t+i|t{)}^{T}Qx(t+i|t)+u(t+i-1{)}^{T}Ru(t+i-1))\text{\hspace{1em}(5)}$$
其中，$x、u、Q_0、Q、R$的定义同上。
从形式上可以看出，LQR的目标函数和MPC的目标函数其实都是对代价的累计。两者第一部分均为终端代价函数，当系统对终端状态要求极严的情况下才添加，一般情况下可省略。$x^{T}Qx$项代表跟踪代价，表示跟踪过程中误差的大小，$u^{T}Ru$项代表控制代价，表示对控制的约束或要求等。

求解方法

正如工作时域所述，针对同一工作时域，LQR有唯一最优控制解，也就是在该控制周期内，LQR只进行一次计算。而MPC滚动优化的思想，使其给出该时域内的一组控制序列对应不同的采样时刻（采样周期和控制周期不一定相同），但是只将该序列的第一个值输出给被控系统，作为该时刻的最优控制解。因此，对于工作时域$[t,t+N]$，LQR只有唯一解，MPC可能有$N$个解。

最优控制解的求取多基于目标函数进行，取线性约束下的目标函数的极值为最优控制解。对于系统为线性，目标函数为状态变量和控制变量的二次型函数的线性二次性问题，一般线性二次性问题的最优解具有统一的解析表达式。apollo中的MPC将优化问题转化为二次规划问题，利用二次规划求解器进行求解。横向控制中用的是LQR调节器，它通过假设控制量$u(t)$不受约束，利用变分法求解。

此外，LQR对整个时域进行优化求解，且求解过程中假设控制量不受约束，但是实际情况下，控制量是有约束的。而MPC通常在比整个时域更小的时间窗口中解决优化问题，因此可能获得次优解，且对线性不作任何假设，它能够处理硬约束以及非线性系统偏离其线性化工作点的迁移，这两者都是LQR的缺点。