线性二次型最优控制

本文涉及的李雅普诺夫方法的内容可参见另一篇博文：李雅普诺夫（第二方法）稳定性分析

一、连续时间系统线性二次型最优控制

1.1 问题的提出

控制器设计的目的：
（1）使得闭环系统稳定
（2）使得闭环系统具有给定的动态和稳态性能
控制器设计的方法：极点配置到左半平面；对高阶系统用配置主导极点来实现
问题：根据闭环系统的性能来决定极点配置的位置，但这个性能依赖于模型，不够直接
从阶跃响应来看，系统的动态和稳态性能好坏可以用阴影部分面积大小来衡量：

用积分来表示：

其中r0是阶跃输入的幅值。但是积分存在正负抵消问题，不可用。
可以取绝对值，但是绝对值不好处理，一般取平方项来处理：

如果有多个变量，把所有的平方项加起来之后再积分：

也可以对不同变量做加权平方和：

其中

称为加权矩阵。一般的形式为：

要求Q是半正定的，为了方便也可以要求Q是正定的。
这个J就是二次型积分性能指标，它衡量了：系统稳定性、上升时间、超调、调节时间、振荡这些指标。
问题：没有考虑控制能量的消耗，即

多个控制信号，则为：

也可以加权，并用二次型积分性能指标来表示为：

综上，同时考虑系统性能和控制能量要求，得到一般的积分性能指标：

关于系统的其他信息：
连续时间系统状态空间模型：

控制器u的设计目标：使J尽可能小。其实是优化问题，这就是线性二次型最优控制问题（linear quadratic optimal control）。

1.2 问题的分析

什么情况下这个问题可解？如果可解，怎么设计最优控制器u？如果设计好了u，闭环系统的性能怎么样，能不能保证它是渐近稳定的？
先缩小问题分析的范围：确定控制器的类型（输出反馈/状态反馈/静态反馈/动态反馈）作为前提：选用最简单的静态状态反馈控制器：

对于上面的系统，在状态反馈控制器作用下，导出的闭环系统是：

对应的性能指标是：

最优控制问题整理成：

如何求解这个优化问题是关键。

1.3 问题求解

正面分析：求解闭环系统方程，然后代入J，再求最小值。但是这种方法太过复杂了。
从目标角度分析：如果J有最小值，那么函数是有限可积的，那么在t趋于无穷的时候，x必然是趋于0，否则积分结果一定是无穷大。因此，闭环系统是渐近稳定的。进一步地，因为渐近稳定，所以存在李雅普诺夫函数：

其中P是待定的对称正定矩阵。这个V沿闭环系统关于时间的导数应为：

它必须是负定的。
怎么用这个条件呢？我们在原来的目标函数上做一点改变：

主要是原来的目标函数里面只有一项含有K，不好处理，现在V的导数里也有K，可以一起处理。进一步：

因为系统渐近稳定，x趋于0，所以V也趋于0，因此把最后一项写出来：

因为P在后面会取一个常值，所以要优化的变量依然是K，把所有与K有关的项放在一起：

这里K的函数结构类似于二次函数，类比二次函数配方法求极值：

观察上面的式子，R相当于a，K应该减去一个项，作为平方项的一项，比如设：

和上面的比较，得到：

取最简单的情况：R、K为可逆阵，则

代入得：


因此，取

的时候，带K的部分取最小值为0：

由于P还没确定，所以K不能说是求出来了，根据现在的目标函数，可以选择合适的P，满足下面的式子，使得当前的目标也最小：

这个方程是riccati方程。对比李雅普诺夫函数对应的李雅普诺夫方程：
$$A^{T}P+PA=-Q$$
可以看到，现在的式子相当于是让Q减小了。而Q反应了能量衰减的速度，说明在要求控制器最优的时候，能量衰减的速度更慢了。为了节约输入的能量，而牺牲了衰减速度，这也体现了二者的平衡。
现在的性能指标最小值为：

综上，整体的求解步骤为：
（1）求解riccati方程，如果有一个对称正定的解P，那么
（2）得到最优解

（3）最优闭环控制系统

（4）性能指标最小值为

问题：riccati方程未必有对称正定解P。就算有解，得到的P是否能成为闭环系统的李雅普诺夫矩阵，即最优闭环控制系统是否渐近稳定？
解决方案：
定理：如果(A,B)能控，则riccati方程存在对称正定解P。因此状态反馈二次型最优控制问题可解。
利用这个P，可以构造李雅普诺夫函数：

沿闭环系统轨迹线求导：

因此，闭环系统是稳定的。
补充：稳定化控制器的设计方法：
（1）基于李雅普诺夫稳定性理论的设计方法
适用于：时变、非线性系统
可推广到模糊控制、鲁棒控制、非线性控制
（2）极点配置方法
适用于：线性定常系统
（3）线性二次型最优控制方法

1.4 MATLAB函数

1.5 例题

二、离散时间系统线性二次型最优控制

2.1 自治系统

自治系统的离散时间模型：

假设系统渐近稳定，即A的特征值都在单位圆内。系统初态x(0)已知。性能指标：

问题：如何计算系统的性能指标值？直接计算：求无穷级数和，有点烦，只适合计算机。
解决方案：
既然系统是渐近稳定的，就有对任意正定矩阵Q，李方程

有对称正定解P，可以构造李函数：

和它的导数：

把李方程

代入指标函数得到：

好处：通过求解李方程，就可以求出无穷级数的和。

2.2 闭环控制系统

系统模型：

二次型性能指标：

定理：如果(A,B)能控，那么离散系统线性二次型最优控制问题有解，最优控制器是

P矩阵满足

这是离散系统的riccati方程。

三、参考文献

[1] 田玉平，蒋珉，李世华．自动控制原理[M]．北京：科学出版社，2006
[2] 俞立.现代控制理论 浙江工业大学 https://www.bilibili.com/video/BV1a4411j7GF