最优控制（一）——最优控制问题概述和静态最优问题的解

最优控制（一）——最优控制问题概述和静态最优问题的解

最优控制问题，其实就是一类最优化问题，如果优化过程中 $\mathbf{x}$ 与时间无关，或在所讨论的时间范围内为常量，就将该最优化问题称为静态最优化问题，反之就称为动态最优化问题。显然，在最优控制领域中，被控对象的状态会随着时间而变化，因此属于动态最优化问题。在动态最优化问题中，目标函数不再是普通函数，而是时间函数的函数，称为泛函数，简称泛函。

1. 研究最优控制的前提条件

1. 给出受控系统的动态描述，即状态空间表达式。

2. 明确控制作用域：

   • 控制矢量 $\mathbf{u}(t)$ 的可取范围组成的集合：
     U = { u ( t ) ∣ φ j ( x , u ) ⩽ 0 , j = 1 , 2 , … m , ( m ⩽ r ) } U=\{\boldsymbol{u}(t)|\varphi_j(\boldsymbol{x},\boldsymbol{u})\leqslant0,j=1,2,\dots m,(m\leqslant r)\} U={u(t)∣φj​(x,u)⩽0,j=1,2,…m,(m⩽r)}

     称为控制集，把控制集中的元素称为容许控制。

3. 明确初始条件：

   • 如果初始条件 $\mathbf{x}(t_0)$ 是给定的，就将该最优控制问题称为固定始端，否则称为自由始端。

   • 如果自由始端问题的 $\mathbf{x}(t_0)$ 满足某些约束条件，那么就将满足约束的初始条件组成的集合称为始端集：
     Ω 0 = { x ( t 0 ) ∣ ρ j [ x ( t 0 ) ] = 0 , j = 1 , 2 , … m , ( m ⩽ r ) } \Omega_0=\{\boldsymbol{x}(t_0)|\rho_j[\boldsymbol{x}(t_0)]=0,j=1,2,\dots m,(m\leqslant r)\} Ω0​={x(t0​)∣ρj​[x(t0​)]=0,j=1,2,…m,(m⩽r)}

     此时就将始端集中的元素称为可变始端。

4. 明确终端条件：

   • 固定终端是指终端时刻 $t_f$ 和终端状态 $\mathbf{x}(t_f)$ 都是给定的。

   • 可变终端是指终端状态 $\mathbf{x}(t_f)\in {\Omega }_f$ 的情况，其中
     Ω f = { x ( t f ) ∣ φ j [ x ( t f ) ] = 0 , j = 1 , 2 , … m , ( m ⩽ r ) } \Omega_f=\{\boldsymbol{x}(t_f)|\varphi_j[\boldsymbol{x}(t_f)]=0,j=1,2,\dots m,(m\leqslant r)\} Ωf​={x(tf​)∣φj​[x(tf​)]=0,j=1,2,…m,(m⩽r)}

     是由约束条件所形成的目标集。

5. 给出目标泛函或者说性能指标：

• 对于连续时间系统一般表述为：

$$J=\Phi [\mathbf{x}(t_f)]+{\int }_{t_0}^{t_f}L[\mathbf{x}(t),\mathbf{u}(t)]\text{d}t$$

• 对于离散时间系统一般表述为：

$$J=\Phi [\mathbf{x}(N)]+\sum _{k=k_0}^{N-1}L[\mathbf{x}(k),\mathbf{u}(k),k]$$

• 上述的形式称为综合型或者鲍尔扎型。它主要由描述对终端性能的要求的终端指标函数和描述对动态品质及能量或者燃料消耗的要求的动态指标函数。

  • 如果不考虑终端指标函数项，那么就有 $\Phi =0$，则有：
    $$\begin{gathered} J={\int }_{t_0}^{t_f}L[\mathbf{x}(t),\mathbf{u}(t)]\text{d}t \\ J=\sum _{k=k_0}^{N-1}L[\mathbf{x}(k),\mathbf{u}(k),k] \end{gathered}$$
    这种形式的性能指标称为积分型或者拉格朗日型。

  • 如果不考虑动态指标函数项，$L=0$，那么就有：
    $$\begin{gathered} J=\Phi [\mathbf{x}(t_f)] \\ J=\Phi [\mathbf{x}(N)] \end{gathered}$$
    称为终端型或者梅耶型。

最优控制问题主要就是从容许控制集 $U$ 中，寻求一个控制矢量 $\mathbf{u}(t)$，使受控系统在时间域 $[t_0,t_f]$ 内，从初态 $\mathbf{x}(t_0)$ 转移到终态 $\mathbf{x}(t_f)$ 或者目标集 $\mathbf{x}(t_f)\in {\Omega }_f$ 时性能指标 $J$ 取得最大值或者最小值。满足上述条件的控制 $\mathbf{u}(t)$ 称为最优控制 ${\mathbf{u}}^{\ast }(t)$。在 ${\mathbf{u}}^{\ast }(t)$ 作用下状态空间方程的解称为最佳轨线 ${\mathbf{x}}^{\ast }(t)$。沿最佳轨线 ${\mathbf{x}}^{\ast }(t)$ 使性能指标 $J$ 所达到的最优值称为最优指标 ${\mathbf{J}}^{\ast }$。

为了工程上实现的便利，一般会按照二次型性能指标设计系统，线性二次型性能指标的一般形式为：
$$\begin{gathered} J=\frac{1}{2}{\mathbf{x}}^T(t_f){\mathbf{Q}}_0\mathbf{x}(t_f)+\frac{1}{2}{\int }_{t_0}^{t_f}\left[{\mathbf{x}}^T(t){\mathbf{Q}}_1\mathbf{x}(t)+{\mathbf{u}}^T(t){\mathbf{Q}}_2\mathbf{u}(t)\right]\text{d}t \\ J=\frac{1}{2}{\mathbf{x}}^T(N){\mathbf{Q}}_0(N)\mathbf{x}(N)+\frac{1}{2}\sum _{k=k_0}^{N-1}\left[{\mathbf{x}}^T(k){\mathbf{Q}}_1(k)\mathbf{x}(k)+{\mathbf{u}}^T(k){\mathbf{Q}}_2(k)\mathbf{u}(k)\right] \end{gathered}$$

式中的 ${\mathbf{Q}}_0,{\mathbf{Q}}_1,{\mathbf{Q}}_2$ 和 ${\mathbf{Q}}_0(N),{\mathbf{Q}}_1(k),{\mathbf{Q}}_2(k)$ 都称为加权矩阵。

2. 静态最优化问题的解

静态最优化问题的目标使一个多元普通函数，因此可以直接使用多元微分学来解决。

2.1 一元函数的极值

如果一个一元实函数 $J=f(u)$ 在闭区间 $[a,b]$ 上连续可微，那么该函数在该区间内存在非端点的极值点 $u^{\ast }$ 的条件是:
$$f^{\prime }(u){|}_{u=u^{\ast }}=0$$
$u^{\ast }$ 是极小值点的充要条件是:
$$f^{\prime }(u^{\ast })=0,f^{\prime \prime }(u^{\ast })>0$$
$u^{\ast }$ 是极大值点的充要条件是:
$$f^{\prime }(u^{\ast })=0,f^{\prime \prime }(u^{\ast })<0$$
通过上述方法计算出来的极值点一般称为驻点，具有局部最值性质，如果将区间内所有极值进行比较就可以得到最小的极值也就是最值，它具有全局最值性：
$$J^{\ast }=f(u^{\ast })=\underset{u\in U}{\min }f(u)$$

2.2 多元函数的极值

设 n 元函数 $f(\mathbf{u})$，这里 $\mathbf{u}={\left(\begin{array}{cccc}{u}_1,& u_2,& \cdots ,& u_n\end{array}\right)}^T$ 是一个 n 维列向量。那么该函数取到极值的必要条件是：
$$\frac{\partial f}{\partial \mathbf{u}}=0\text{ Or }\nabla f_u=0$$

如果需要取到极小值，那么还需要 Hessian 矩阵正定：
$$\frac{{\partial }^{2}f}{\partial {\mathbf{u}}^2}=\left(\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial u_1^2}& \frac{{\partial }^{2}f}{\partial u_1\partial u_2}& \cdots & \frac{{\partial }^{2}f}{\partial u_1\partial u_n}\\ \frac{{\partial }^{2}f}{\partial u_2\partial u_1}& \frac{{\partial }^{2}f}{\partial u_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial u_2\partial u_n}\\ ⋮& ⋮& & ⋮\\ \frac{{\partial }^{2}f}{\partial u_n\partial u_1}& \frac{{\partial }^{2}f}{\partial u_n\partial u_2}& \cdots & \frac{{\partial }^{2}f}{\partial u_n^2}\end{array}\right)>0$$

2.3 具有等式约束的条件极值

主要考虑消元法或者拉格朗日乘数法，后者具有普遍意义。设连续可微函数
$$J=f(\mathbf{x},\mathbf{u})$$

和等式约束
$$\mathbf{g}(\mathbf{x},\mathbf{u})=0$$

其中，$\mathbf{x}$ 为 n 维列向量，$\mathbf{u}$ 为 r 维列向量，$\mathbf{g}$ 为 n 维矢量函数。

接下来，使用与 $\mathbf{g}$ 同维的乘子矢量 $\mathbf{\lambda }$ 与约束条件相乘并与目标函数相加得到拉格朗日函数：
$$H=J+{\mathbf{\lambda }}^T\mathbf{g}=f(\mathbf{x},\mathbf{u})+{\mathbf{\lambda }}^T\mathbf{g}(\mathbf{x},\mathbf{u})$$

就可以按照无约束的方法进行求解，目标函数存在极值的必要条件是：
$$\begin{gathered} \{\begin{array}{l}\frac{\partial H}{\partial \mathbf{x}}=0\\ \frac{\partial H}{\partial \mathbf{u}}=0\\ \frac{\partial H}{\partial \mathbf{\lambda }}=0\end{array} \\ \Rightarrow \{\begin{array}{l}\frac{\partial f}{\partial \mathbf{x}}+{\left(\frac{\partial \mathbf{g}}{\partial \mathbf{x}}\right)}^T\mathbf{\lambda }=0\\ \frac{\partial f}{\partial \mathbf{u}}+{\left(\frac{\partial \mathbf{g}}{\partial \mathbf{u}}\right)}^T\mathbf{\lambda }=0\\ \mathbf{g}(\mathbf{x},\mathbf{u})=0\end{array} \end{gathered}$$

其中：
$$\begin{gathered} \frac{\partial \mathbf{g}}{\partial \mathbf{x}}=\left(\begin{array}{cccc}\frac{\partial g_1}{\partial x_1}& \frac{\partial g_1}{\partial x_2}& \cdots & \frac{\partial g_1}{\partial x_n}\\ \frac{\partial g_2}{\partial x_1}& \frac{\partial g_2}{\partial x_2}& \cdots & \frac{\partial g_2}{\partial x_n}\\ ⋮& ⋮& & ⋮\\ \frac{\partial g_n}{\partial x_1}& \frac{\partial g_n}{\partial x_2}& \cdots & \frac{\partial g_n}{\partial x_n}\end{array}\right) \\ \frac{\partial \mathbf{g}}{\partial \mathbf{u}}=\left(\begin{array}{cccc}\frac{\partial g_1}{\partial u_1}& \frac{\partial g_1}{\partial u_2}& \cdots & \frac{\partial g_1}{\partial u_n}\\ \frac{\partial g_2}{\partial u_1}& \frac{\partial g_2}{\partial u_2}& \cdots & \frac{\partial g_2}{\partial u_n}\\ ⋮& ⋮& & ⋮\\ \frac{\partial g_n}{\partial u_1}& \frac{\partial g_n}{\partial u_2}& \cdots & \frac{\partial g_n}{\partial u_n}\end{array}\right) \end{gathered}$$

【例】求使 $J=f(\mathbf{x},\mathbf{u})=\frac{1}{2}{\mathbf{x}}^T{\mathbf{Q}}_1\mathbf{x}+\frac{1}{2}{\mathbf{u}}^T{\mathbf{Q}}_2\mathbf{u}$ 取极值的 ${\mathbf{x}}^{\ast }$ 和 ${\mathbf{u}}^{\ast }$。它们满足约束条件 $\mathbf{g}(\mathbf{x},\mathbf{u})=\mathbf{x}+\mathbf{F}\mathbf{u}+\mathbf{d}=0$，其中 ${\mathbf{Q}}_1,{\mathbf{Q}}_2$ 均为正定矩阵，$\mathbf{F}$ 维任意矩阵。
【解】构造拉格朗日函数：
$$H=J+{\mathbf{\lambda }}^T\mathbf{g}=\frac{1}{2}{\mathbf{x}}^T{\mathbf{Q}}_1\mathbf{x}+\frac{1}{2}{\mathbf{u}}^T{\mathbf{Q}}_2\mathbf{u}+{\mathbf{\lambda }}^T(\mathbf{x}+\mathbf{F}\mathbf{u}+\mathbf{d})$$
由极值存在的必要条件可知：
$$\{\begin{array}{l}\frac{\partial H}{\partial \mathbf{x}}={\mathbf{Q}}_1\mathbf{x}+\mathbf{\lambda }=0\\ \frac{\partial H}{\partial \mathbf{u}}={\mathbf{Q}}_2\mathbf{u}+{\mathbf{F}}^T\mathbf{\lambda }=0\\ \frac{\partial H}{\partial \mathbf{\lambda }}=\mathbf{x}+\mathbf{F}\mathbf{u}+\mathbf{d}=0\end{array}$$

由于 ${\mathbf{Q}}_1,{\mathbf{Q}}_2$ 正定所以极值存在，讲上述方程联立可以求得极值为：
$$\{\begin{array}{l}{\mathbf{x}}^{\ast }=-[\mathbf{I}-\mathbf{F}({\mathbf{Q}}_2+{\mathbf{F}}^T{\mathbf{Q}}_1\mathbf{F}{)}^{-1}{\mathbf{F}}^T{\mathbf{Q}}_1]\mathbf{d}\\ {\mathbf{u}}^{\ast }=-({\mathbf{Q}}_2+{\mathbf{F}}^T{\mathbf{Q}}_1\mathbf{F}{)}^{-1}{\mathbf{F}}^T{\mathbf{Q}}_1\mathbf{d}\\ {\mathbf{\lambda }}^{\ast }={\mathbf{Q}}_1[\mathbf{I}-\mathbf{F}({\mathbf{Q}}_2+{\mathbf{F}}^T{\mathbf{Q}}_1\mathbf{F}{)}^{-1}{\mathbf{F}}^T{\mathbf{Q}}_1]\mathbf{d}\end{array}$$

3. 离散时间系统的最优控制

3.1 基本形式

考虑如下离散时间系统：
$$\{\begin{array}{l}\mathbf{x}(k+1)=\mathbf{f}[\mathbf{x}(k),\mathbf{u}(k),k],(k=0,1,\cdots ,N-1)\\ \mathbf{x}(0)={\mathbf{x}}_0\end{array}$$

最优控制的问题就是确定矢量序列 { u ( 1 ) , u ( 2 ) , ⋯   , u ( N − 1 ) } \{\boldsymbol{u}(1),\boldsymbol{u}(2),\cdots,\boldsymbol{u}(N-1)\} {u(1),u(2),⋯,u(N−1)} 使得下列函数取得最小值：
$$J=\Phi [\mathbf{x}(N)]+\sum _{k=0}^{N-1}L[\mathbf{x}(k),\mathbf{u}(k),k]$$

这里暂且假定 $\mathbf{x}(N)$ 为自由终端，这样的问题和前一个小节中的无约束问题实际上并没有区别，于是可以构建约束方程为：
$$\mathbf{f}[\mathbf{x}(k),\mathbf{u}(k),k]-\mathbf{x}(k+1)=0,(k=0,1,\cdots ,N-1)$$

在这个优化问题中，待优化变量总共有这样的 $N(n+r)$ 个：
{ x 1 ( k ) , x 2 ( k ) , ⋯   , x n ( k ) } , ( k = 1 , 2 , ⋯   , N ) { u 1 ( k ) , u 2 ( k ) , ⋯   , u r ( k ) } , ( k = 0 , 1 , ⋯   , N − 1 ) \{x_1(k),x_2(k),\cdots,x_n(k)\},(k=1,2,\cdots,N)\\ \{u_1(k),u_2(k),\cdots,u_r(k)\},(k=0,1,\cdots,N-1) {x1​(k),x2​(k),⋯,xn​(k)},(k=1,2,⋯,N){u1​(k),u2​(k),⋯,ur​(k)},(k=0,1,⋯,N−1)

因此需要的拉格朗日乘数的数量也需要对应的进行扩大，这里定义 $Nn$ 个变量：
{ λ 1 ( k ) , λ 2 ( k ) , ⋯   , λ n ( k ) } , ( k = 1 , 2 , ⋯   , N ) \{\lambda_1(k),\lambda_2(k),\cdots,\lambda_n(k)\},(k=1,2,\cdots,N) {λ1​(k),λ2​(k),⋯,λn​(k)},(k=1,2,⋯,N)

于是构造一个新的拉格朗日函数为：
$$\begin{array}{rl}V& =\Phi [\mathbf{x}(N)]+\sum _{k=0}^{N-1}\left\{L[\mathbf{x}(k),\mathbf{u}(k),k]+{\mathbf{\lambda }}^T(k+1)[\mathbf{f}[\mathbf{x}(k),\mathbf{u}(k),k]-\mathbf{x}(k+1)]\right\}\\ & \equiv \Phi [\mathbf{x}(N)]+\sum _{k=0}^{N-1}\left[L_k[\mathbf{x}(k),\mathbf{u}(k)]+{\mathbf{\lambda }}^T(k+1){\mathbf{f}}_k[\mathbf{x}(k),\mathbf{u}(k)]-{\mathbf{\lambda }}^T(k+1)\mathbf{x}(k+1)\right]\\ & \equiv \Phi [\mathbf{x}(N)]+\sum _{k=0}^{N-1}\left[H_k-{\mathbf{\lambda }}^T(k+1)\mathbf{x}(k+1)\right]\\ & =\Phi [\mathbf{x}(N)]+H_0-{\mathbf{\lambda }}^T(N)\mathbf{x}(N)+\sum _{k=1}^{N-1}\left[H_k-{\mathbf{\lambda }}^T(k)\mathbf{x}(k)\right]\end{array}$$

对该问题求最优可以得到极值条件：
$$\begin{gathered} \{\begin{array}{l}\frac{\partial V}{\partial \mathbf{x}(k)}=\frac{\partial H_k}{\partial \mathbf{x}(k)}-\mathbf{\lambda }(k)=0,(k=1,2,\cdots ,N-1)\\ \frac{\partial V}{\partial \mathbf{x}(N)}=\frac{\partial \Phi [\mathbf{x}(N)]}{\partial \mathbf{x}(N)}-\mathbf{\lambda }(N)=0\\ \frac{\partial V}{\partial \mathbf{u}(k)}=\frac{\partial H_k}{\partial \mathbf{u}(k)}=0,(k=0,1,\cdots ,N-1)\\ \frac{\partial V}{\partial \mathbf{\lambda }(k)}={\mathbf{f}}_{k-1}[\mathbf{x}(k-1),\mathbf{u}(k-1)]-\mathbf{x}(k)=0,(k=1,2,\cdots ,N)\end{array} \\ \Rightarrow \{\begin{array}{l}\mathbf{x}(0)={\mathbf{x}}_0\\ \frac{\partial H_k}{\partial \mathbf{x}(k)}=\frac{\partial L_k[\mathbf{x}(k),\mathbf{u}(k)]}{\partial \mathbf{x}(k)}+{\left[\frac{\partial {\mathbf{f}}_k[\mathbf{x}(k),\mathbf{u}(k)]}{\partial \mathbf{x}(k)}\right]}^T\mathbf{\lambda }(k+1)=\mathbf{\lambda }(k)\\ \frac{\partial H_k}{\partial \mathbf{u}(k)}=\frac{\partial L_k[\mathbf{x}(k),\mathbf{u}(k)]}{\partial \mathbf{u}(k)}+{\left[\frac{\partial {\mathbf{f}}_k[\mathbf{x}(k),\mathbf{u}(k)]}{\partial \mathbf{u}(k)}\right]}^T\mathbf{\lambda }(k+1)=0\\ \frac{\partial H_k}{\partial \mathbf{\lambda }(k+1)}={\mathbf{f}}_k[\mathbf{x}(k),\mathbf{u}(k)]-\mathbf{x}(k+1)=0\\ \frac{\partial \Phi [\mathbf{x}(N)]}{\mathbf{x}(N)}=\mathbf{\lambda }(N)\end{array} \\ (k=0,1,\cdots ,N-1) \end{gathered}$$

上述方程组中各个方程具有的方程个数分别为 $n,(N-1)n,Nr,Nn,n$ ，总计 $(2n+r)N+n$。而现在拥有的待优化变量数为:
$$N\text{rank}(\mathbf{x})+N\text{rank}(\mathbf{\lambda })+N\text{rank}(\mathbf{u})=(2n+r)N$$

如果在上述问题中，给定终端时刻 N 上的 $\mathbf{\lambda }(N)$ 和初始时刻的 $\mathbf{x}(0)$，求解这种给定两点边界的问题称为两点边值问题。

3.2 具有二次型性能指标的线性时不变系统

设离散时间线性定常系统：
$$\{\begin{array}{l}\mathbf{x}(k+1)=\mathbf{G}\mathbf{x}(k)+\mathbf{H}\mathbf{u}(k),(k=0,1,\cdots ,N-1)\\ \mathbf{x}(0)={\mathbf{x}}_0\end{array}$$

要求的性能指标为：
$$J=\sum _{k=1}^{N-1}\frac{1}{2}\left[{\mathbf{x}}^T(k){\mathbf{Q}}_1(k)\mathbf{x}(k)+{\mathbf{u}}^T(k){\mathbf{Q}}_2(k)\mathbf{u}(k)\right]+\frac{1}{2}{\mathbf{x}}^T(N){\mathbf{Q}}_0(N)\mathbf{x}(N)$$

其中 ${\mathbf{Q}}_0(N),{\mathbf{Q}}_1(k),{\mathbf{Q}}_2(k)$ 都是正定矩阵，且系统的状态转移矩阵 $\mathbf{G}$ 可逆。

那么按照前一节的推到可以写出
$$\begin{gathered} H_k=\frac{1}{2}[{\mathbf{x}}^T(k){\mathbf{Q}}_1(k)\mathbf{x}(k)+{\mathbf{u}}^T(k){\mathbf{Q}}_2(k)\mathbf{u}(k)]+{\mathbf{\lambda }}^T(k+1)[\mathbf{Gx}(k)+\mathbf{Hu}(k)] \\ \Phi [\mathbf{x}(N)]=\frac{1}{2}{\mathbf{x}}^T(N){\mathbf{Q}}_1(N)\mathbf{x}(N) \end{gathered}$$

那么就可以根据前面的方程得到受约束的极值条件：
$$\begin{gathered} \{\begin{array}{l}\mathbf{x}(0)={\mathbf{x}}_0\\ {\mathbf{Q}}_1(k)\mathbf{x}(k)+{\mathbf{G}}^T\mathbf{\lambda }(k+1)=\mathbf{\lambda }(k)\\ {\mathbf{Q}}_2(k)\mathbf{u}(k)+{\mathbf{H}}^T\mathbf{\lambda }(k+1)=0\\ \mathbf{Gx}(k)+\mathbf{Hu}(k)-\mathbf{x}(k+1)=0\\ {\mathbf{Q}}_0(N)\mathbf{x}(N)=\mathbf{\lambda }(N)\end{array} \\ k=0,1,\cdots ,N-1 \end{gathered}$$

根据第三个方程组可以得到：
$$\mathbf{u}(k)=-{\mathbf{Q}}_2^{-1}(k){\mathbf{H}}^T\mathbf{\lambda }(k+1)$$

带入第四个方程组：
$$\mathbf{x}(k+1)=\mathbf{G}\mathbf{x}(k)-{\mathbf{HQ}}_2^{-1}(k){\mathbf{H}}^T\mathbf{\lambda }(k+1)$$

由最后一个方程可知，存在矩阵 $\mathbf{P}(N)={\mathbf{Q}}_0(N)$ 使得 $\mathbf{\lambda }(N)=\mathbf{P}(N)\mathbf{x}(N)$ 成立。

假设当 $k=n+1$ 时存在矩阵 $\mathbf{P}(n+1)$ 使得 $\mathbf{\lambda }(n+1)=\mathbf{P}(n+1)\mathbf{x}(n+1)$ 成立，接下来证明当 $k=n$ 时该结论仍然成立：
$$\begin{gathered} \begin{array}{rl}\mathbf{x}(n+1)& =\mathbf{G}\mathbf{x}(n)-{\mathbf{HQ}}_2^{-1}(n){\mathbf{H}}^T\mathbf{\lambda }(n+1)\\ & =\mathbf{G}\mathbf{x}(n)-{\mathbf{HQ}}_2^{-1}(n){\mathbf{H}}^T\mathbf{P}(n+1)\mathbf{x}(n+1)\end{array} \\ \Rightarrow \mathbf{x}(n+1)={\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(n){\mathbf{H}}^T\mathbf{P}(n+1)\right]}^{-1}\mathbf{G}\mathbf{x}(n) \\ \Rightarrow \mathbf{\lambda }(n+1)=\mathbf{P}(n+1){\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(n){\mathbf{H}}^T\mathbf{P}(n+1)\right]}^{-1}\mathbf{G}\mathbf{x}(n) \end{gathered}$$

带入上面的第二个方程组可以得到：
$$\begin{gathered} {\mathbf{Q}}_1(n)\mathbf{x}(n)+{\mathbf{G}}^T\mathbf{P}(n+1){\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(n){\mathbf{H}}^T\mathbf{P}(n+1)\right]}^{-1}\mathbf{G}\mathbf{x}(n)=\mathbf{\lambda }(n) \\ \Rightarrow \mathbf{\lambda }(n)=\left\{{\mathbf{Q}}_1(n)+{\mathbf{G}}^T\mathbf{P}(n+1){\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(n){\mathbf{H}}^T\mathbf{P}(n+1)\right]}^{-1}\mathbf{G}\right\}\mathbf{x}(n) \end{gathered}$$

即存在 $\mathbf{P}(n)={\mathbf{Q}}_1(n)+{\mathbf{G}}^T\mathbf{P}(n+1){\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(n){\mathbf{H}}^T\mathbf{P}(n+1)\right]}^{-1}\mathbf{G}$ 使得表达式 $\mathbf{\lambda }(k)=\mathbf{P}(k)\mathbf{x}(k)$ 对 $k=n$ 成立。

所以由数学归纳法可以知道，对于任意的 $k=0,1,\cdots ,N-1$ 都有 $\mathbf{\lambda }(k)=\mathbf{P}(k)\mathbf{x}(k)$。而且可以根据上述递推公式从 ${\mathbf{Q}}_0(N)$ 开始依次向前迭代得到 $\mathbf{P}(N-1),\mathbf{P}(N-2),\cdots ,\mathbf{P}(1)$ 。

最后，根据上述结论结合前面的方程组可以得到最优控制率为：
$$\begin{gathered} {\mathbf{Q}}_2(k)\mathbf{u}(k)=-{\mathbf{H}}^T\mathbf{\lambda }(k+1)=-{\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{x}(k+1) \\ \Rightarrow \mathbf{u}(k)=-{\mathbf{Q}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{x}(k+1) \\ \Rightarrow \mathbf{Gx}(k)-{\mathbf{HQ}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{x}(k+1)-\mathbf{x}(k+1)=0 \\ \Rightarrow \mathbf{x}(k+1)={\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\right]}^{-1}\mathbf{Gx}(k) \\ \Rightarrow \mathbf{u}(k)=-{\mathbf{Q}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1){\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\right]}^{-1}\mathbf{Gx}(k) \end{gathered}$$

然后整理一下就可以得到常用的最优控制率形式：
$$\begin{array}{rl}\mathbf{u}(k)& =-{\mathbf{Q}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1){\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\right]}^{-1}\mathbf{Gx}(k)\\ & =-{\left[{\mathbf{Q}}_2(k)+{\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{H}\right]}^{-1}\left[{\mathbf{Q}}_2(k)+{\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{H}\right]{\mathbf{Q}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\cdot \\ & {\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\right]}^{-1}\mathbf{Gx}(k)\\ & =-{\left[{\mathbf{Q}}_2(k)+{\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{H}\right]}^{-1}\left[{\mathbf{H}}^T\mathbf{P}(k+1)+{\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{H}{\mathbf{Q}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\right]\cdot \\ & {\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\right]}^{-1}\mathbf{Gx}(k)\\ & =-{\left[{\mathbf{Q}}_2(k)+{\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{H}\right]}^{-1}{\mathbf{H}}^T\mathbf{P}(k+1)\left[\mathbf{I}+\mathbf{H}{\mathbf{Q}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\right]\cdot \\ & {\left[\mathbf{I}+{\mathbf{HQ}}_2^{-1}(k){\mathbf{H}}^T\mathbf{P}(k+1)\right]}^{-1}\mathbf{Gx}(k)\\ & =-{\left[{\mathbf{Q}}_2(k)+{\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{H}\right]}^{-1}{\mathbf{H}}^T\mathbf{P}(k+1)\mathbf{Gx}(k)\end{array}$$

4. 连续时间系统最优控制的离散化处理

设连续系统状态空间方程为：
$$\{\begin{array}{l}\dot{\mathbf{x}}(t)=\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\\ \mathbf{x}(t_0)={\mathbf{x}}_0\end{array}$$

目标函数为：
$$J={\int }_{t_0}^{t_f}L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\text{d}t+\Phi \left[\mathbf{x}(t_f)\right]$$

这里假定 $\mathbf{x}(t_f)$ 是自由终端，$\Phi [\mathbf{x}(t_f)]$ 是终端代价函数。

如果按照 $\Delta t$ 为采样周期对系统直接进行离散化，就可以将该问题转化为静态最优控制问题：
$$\begin{gathered} \{\begin{array}{l}\mathbf{f}\left[\mathbf{x}(k\Delta t),\mathbf{u}(k\Delta t),k\Delta t\right]\Delta t-\left[\mathbf{x}(k\Delta t+\Delta t)-\mathbf{x}(k\Delta t)\right]=0,(k=0,1,\cdots ,\frac{t_f}{\Delta t}-1)\\ J=\sum _{k=0}^{\frac{t_f}{\Delta t}-1}L\left[\mathbf{x}(k\Delta t),\mathbf{u}(k\Delta t),k\Delta t\right]\Delta t+\Phi \left[\mathbf{x}(t_f)\right]\end{array} \\ \Rightarrow \{\begin{array}{l}\mathbf{f}\left[\mathbf{x}(k),\mathbf{u}(k),k\right]\Delta t-\left[\mathbf{x}(k+1)-\mathbf{x}(k)\right]=0,(k=0,1,\cdots ,N-1)\\ J=\sum _{k=0}^{N-1}L\left[\mathbf{x}(k),\mathbf{u}(k),k\right]\Delta t+\Phi \left[\mathbf{x}(N)\right]\end{array} \end{gathered}$$

计算出该问题以后考虑 $\Delta t\to 0$ 的极限情况就可以确定连续系统的最优解。

还是和前面一样采用相似的定义：
$$\begin{array}{rl}{H}_k& =L_k\left[\mathbf{x}(k),\mathbf{u}(k)\right]+{\mathbf{\lambda }}^T(k+1){\mathbf{f}}_k\left[\mathbf{x}(k),\mathbf{u}(k)\right]\\ V& =\Phi [\mathbf{x}(N)]+\sum _{k=0}^{N-1}\left\{L_k\left[\mathbf{x}(k),\mathbf{u}(k)\right]\Delta t+{\mathbf{\lambda }}^T(k+1)\left[{\mathbf{f}}_k[\mathbf{x}(k),\mathbf{u}(k)]\Delta t-\mathbf{x}(k+1)+\mathbf{x}(k)\right]\right\}\\ & =\Phi [\mathbf{x}(N)]+\sum _{k=0}^{N-1}\left\{H_k\Delta t-{\mathbf{\lambda }}^T(k+1)\left[\mathbf{x}(k+1)-\mathbf{x}(k)\right]\right\}\\ & =\Phi [\mathbf{x}(N)]+{\mathbf{\lambda }}^T(1)\mathbf{x}(0)+H_0\Delta t-{\mathbf{\lambda }}^T(N)\mathbf{x}(N)+\sum _{k=1}^{N-1}\left[H_k\Delta t+({\mathbf{\lambda }}^T(k+1)-{\mathbf{\lambda }}^T(k))\mathbf{x}(k)\right]\end{array}$$

可以得到极值条件为：
$$\{\begin{array}{l}\frac{\partial V}{\partial \mathbf{x}(k)}=\frac{\partial H_k}{\partial \mathbf{x}(k)}\Delta t+\left[\mathbf{\lambda }(k+1)-\mathbf{\lambda }(k)\right]=0,(k=1,2,\cdots ,N-1)\\ \frac{\partial V}{\partial \mathbf{x}(N)}=\frac{\partial \Phi [\mathbf{x}(N)]}{\partial \mathbf{x}(N)}-\mathbf{\lambda }(N)=0\\ \frac{\partial V}{\partial \mathbf{u}(k)}=\frac{\partial H_k}{\partial \mathbf{u}(k)}\Delta t=0,(k=0,1,\cdots ,N-1)\\ \frac{\partial V}{\partial \mathbf{\lambda }(k)}={\mathbf{f}}_{k-1}[\mathbf{x}(k-1),\mathbf{u}(k-1)]-\mathbf{x}(k)+\mathbf{x}(k-1)=0,(k=1,2,\cdots ,N)\end{array}$$

取极限 $\Delta t\to 0$ 可以得到最优控制问题的必要条件：
$$\{\begin{array}{l}\frac{\partial H(t)}{\partial \mathbf{x}(t)}=-\dot{\mathbf{\lambda }}(t)\\ \frac{\partial \Phi [\mathbf{x}(t_f)]}{\partial \mathbf{x}(t)}=\mathbf{\lambda }(t_f)\\ \frac{\partial H(t)}{\partial \mathbf{u}(t)}=0\\ \dot{\mathbf{x}}(t)=\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\end{array}$$

其中，$H(t)=L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]+{\mathbf{\lambda }}^T(t)\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]$。