笔记-最优控制理论1

最优控制问题：在满足系统方程的约束条件下，在容许控制域中确定一个最优控制律，使得系统状态从已知初态转移到要求的目标集，并使性能指标达到极值。

1）建立被控系统的状态方程
2）确定边界条件
3）选定性能指标
4）确定控制律的容许范围
5）按一定方法计算最优控制

庞特里亚金极小值原理、经典变分法

终端状态和终端时间分$2\times 3$类：

1. 终端时间固定，终端状态固定、自由、约束。
   – $t_f$给定，$\mathbf{x}(t_f)$固定，即$\mathbf{x}(t_f)={\mathbf{x}}_{t_f}$
   – $t_f$给定，$\mathbf{x}(t_f)$自由，就是无约束
   – $t_f$给定，$\mathbf{x}(t_f)$受约束，即$\mathbf{G}\left[\mathbf{x}(t_f),t_f\right]=0$

2. 终端时间自由，终端状态固定、自由、约束。
   – $t_f$自由，$\mathbf{x}(t_f)$固定，即$\mathbf{x}(t_f)={\mathbf{x}}_{t_f}$
   – $t_f$自由，$\mathbf{x}(t_f)$自由，就是无约束
   – $t_f$自由，$\mathbf{x}(t_f)$受约束，即$\mathbf{G}\left[\mathbf{x}(t_f),t_f\right]=0$

性能指标分3类：

\quad – 波尔扎(Bolza)型(综合指标)：$J=\psi \left(\mathbf{x}(t_f),t_f\right)+{\int }_{t_0}^{t_f}L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\mathrm{d}t$

\quad – 迈耶尔(Mayer)型(终端指标)：$J=\psi \left(\mathbf{x}(t_f),t_f\right)$

\quad – 拉格朗日(Lagrange)型(积分指标)：$J={\int }_{t_0}^{t_f}L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\mathrm{d}t$

经典变分法

考虑动态系统：
$$\dot{\mathbf{x}}=\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\text{\hspace{1em}(1)}$$

性能指标为：
$$J=\psi \left(\mathbf{x}(t_f),t_f\right)+{\int }_{t_0}^{t_f}L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\mathrm{d}t\text{\hspace{1em}(2)}$$

求最优控制${\mathbf{u}}^{\ast }(t)$和满足状态方程的极值轨线${\mathbf{x}}^{\ast }(t)$，使性能指标取极值。

1）终端时刻固定，终端状态自由（$t_f$给定，$\mathbf{x}(t_f)$自由）

将状态方程写成等式约束方程的形式：
$$\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]-\dot{\mathbf{x}}=0\text{\hspace{1em}(3)}$$

引入拉格朗日乘子$\mathbf{\lambda }(t)$，又称为伴随变量、协态或共轭状态，增广泛函为：
$$J_E=\psi \left(\mathbf{x}(t_f),t_f\right)+{\int }_{t_0}^{t_f}\left\{L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]+{\mathbf{\lambda }}^T(t)\left[\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]-\dot{\mathbf{x}}(t)\right]\right\}\mathrm{d}t\text{\hspace{1em}(4)}$$

这样就将有约束的泛函$J$极值问题转换为无约束的增广泛函$J_E$极值问题。

引入哈密顿（Hamilton）函数：
$$H(\mathbf{x}(t),\mathbf{u}(t),\mathbf{\lambda }(t),t)=L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]+{\mathbf{\lambda }}^T(t)\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\text{\hspace{1em}(5)}$$

那么式$(4)$可以表示为：
$$J_E=\psi \left(\mathbf{x}(t_f),t_f\right)+{\int }_{t_0}^{t_f}\left[H(\mathbf{x}(t),\mathbf{u}(t),\mathbf{\lambda }(t),t)-{\mathbf{\lambda }}^T(t)\dot{\mathbf{x}}(t)\right]\mathrm{d}t\text{\hspace{1em}(6)}$$

注释1：没有给出各向量变量的维度，性能指标泛函是标量。

对式$(6)$积分括号里的第二项${\mathbf{\lambda }}^T(t)\dot{\mathbf{x}}(t)$做分部积分，可得：
$$\begin{array}{rl}{J}_E& =\psi \left(\mathbf{x}(t_f),t_f\right)-{\mathbf{\lambda }}^T(t_f)\mathbf{x}(t_f)+{\mathbf{\lambda }}^T(t_0)\mathbf{x}(t_0)\\ & +{\int }_{t_0}^{t_f}\left[H(\mathbf{x}(t),\mathbf{u}(t),\mathbf{\lambda }(t),t)-{\dot{\mathbf{\lambda }}}^T(t)\mathbf{x}(t)\right]\mathrm{d}t\end{array}\text{\hspace{1em}(7)}$$

设$\mathbf{x}(t),\mathbf{u}(t)$相对于最优值${\mathbf{x}}^{\ast }(t),{\mathbf{u}}^{\ast }(t)$的变分分别为$\delta \mathbf{x}(t),\delta \mathbf{u}(t)$，由于终端状态自由，还要考虑变分$\delta \mathbf{x}(t_f)$，则由这些变分引起的泛函变分为：
$$\begin{array}{rl}\delta J_E& =\delta {\mathbf{x}}^T(t_f)\frac{\partial \psi }{\partial \mathbf{x}(t_f)}-\delta {\mathbf{x}}^T(t_f)\mathbf{\lambda }(t_f)+{\int }_{t_0}^{t_f}\left[\delta {\mathbf{x}}^T\left(\frac{\partial H}{\partial \mathbf{x}}+\dot{\mathbf{\lambda }}\right)+\delta {\mathbf{u}}^T\frac{\partial H}{\partial \mathbf{u}}\right]\mathrm{d}t\end{array}\text{\hspace{1em}(8)}$$

$J_E$为极值的必要条件是：对任意的$\delta \mathbf{x},\delta \mathbf{u},\delta \mathbf{x}(t_f)$，变分$\delta J_E=0$。

综述所述，可得：

状态方程：$\dot{\mathbf{x}}=\frac{\partial H}{\partial \mathbf{\lambda }}=\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]$

协态方程：$\dot{\mathbf{\lambda }}=-\frac{\partial H}{\partial \mathbf{x}}$

控制方程：$\frac{\partial H}{\partial \mathbf{u}}=0$

横截条件：$\mathbf{\lambda }(t_f)=\frac{\partial \psi }{\partial \mathbf{x}(t_f)}$

横截条件表示协态终端所需满足的条件。当终端状态固定时，$\delta \mathbf{x}(t_f)=0$，就不需要横截条件了。

注释2：状态方程+协态方程=正则方程

只知道初值$\mathbf{x}(t_0)$和由横截条件确定的协态终端值$\mathbf{\lambda }(t_f)$，即两点边值问题，一般很难求解。这是因为$\mathbf{\lambda }(t_0)$未知，如果假定一个$\mathbf{\lambda }(t_0)$，正向积分方程组，则在$t=t_f$时的$\mathbf{\lambda }$一般与给定的$\mathbf{\lambda }(t_f)$不同，可反复修改$\mathbf{\lambda }(t_0)$的值，直至$\mathbf{\lambda }(t_f)$与给定值的差可以忽略不计为止。

2）终端时刻自由，终端状态受约束（$t_f$自由，$\mathbf{x}(t_f)$属于一个约束集）

设终端状态满足约束方程：
$$\mathbf{G}\left[\mathbf{x}(t_f),t_f\right]=0\text{\hspace{1em}(9)}$$

其中，$\mathbf{G}\left[\mathbf{x}(t_f),t_f\right]={\left[G_1\left(\mathbf{x}(t_f),t_f\right),\cdots ,G_q\left(\mathbf{x}(t_f),t_f\right)\right]}^T$

性能指标为：
$$J=\psi \left(\mathbf{x}(t_f),t_f\right)+{\int }_{t_0}^{t_f}L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\mathrm{d}t$$

与上面例子类似，引入n维拉格朗日乘子向量$\mathbf{\lambda }$和q维拉格朗日乘子向量$\mathbf{v}$，做增广泛函：
$$\begin{gathered} J_E=\psi \left(\mathbf{x}(t_f),t_f\right)+{\mathbf{v}}^T\mathbf{G}\left(\mathbf{x}(t_f),t_f\right) \\ +{\int }_{t_0}^{t_f}\left\{L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]+{\mathbf{\lambda }}^T(t)\left[\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]-\dot{\mathbf{x}}(t)\right]\right\}\mathrm{d}t\text{\hspace{1em}(10)} \end{gathered}$$

引入哈密顿函数：
$$H(\mathbf{x}(t),\mathbf{u}(t),\mathbf{\lambda }(t),t)=L\left[\mathbf{x}(t),\mathbf{u}(t),t\right]+{\mathbf{\lambda }}^T(t)\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]\text{\hspace{1em}(11)}$$

令
$$\mathbf{\Theta }(\mathbf{x}(t_f),t_f)=\psi \left(\mathbf{x}(t_f),t_f\right)+{\mathbf{v}}^T\mathbf{G}\left(\mathbf{x}(t_f),t_f\right)\text{\hspace{1em}(12)}$$

式$(10)$可以表示为：
$$J_E=\mathbf{\Theta }(\mathbf{x}(t_f),t_f)+{\int }_{t_0}^{t_f}\left[H(\mathbf{x}(t),\mathbf{u}(t),\mathbf{\lambda }(t),t)-{\mathbf{\lambda }}^T(t)\dot{\mathbf{x}}(t)\right]\mathrm{d}t\text{\hspace{1em}(13)}$$

与$t_f$固定时不同的地方在于，现在$\delta J_E$由$\delta \mathbf{x}(t),\delta \mathbf{u}(t),\delta \mathbf{x}(t_f),\delta t_f$所引起。这里，$\delta t_f$不再为0，并且：
$$\begin{array}{rl}{t}_f& =t_f^{\ast }+\delta t_f\\ \delta \mathbf{x}(t_f)& =\mathbf{x}(t_f)-{\mathbf{x}}^{\ast }(t_f^{\ast })=\delta \mathbf{x}(t_f^{\ast })+\left[\mathbf{x}(t_f^{\ast }+\delta t_f)-\mathbf{x}(t_f^{\ast })\right]\\ & \approx \delta \mathbf{x}(t_f^{\ast })+\dot{\mathbf{x}}(t_f^{\ast })\delta t_f\end{array}$$

计算$J_E$的变分（只计算至一阶小量）：
$$\begin{gathered} \Delta J_E={\mathbf{\Theta }}^{\ast }(\mathbf{x}(t_f)+\delta \mathbf{x}(t_f),t_f+\delta t_f)+{\int }_{t_0}^{t_f^{\ast }+\delta t_f}{\left[H(\mathbf{x}+\delta \mathbf{x},\mathbf{u}+\delta \mathbf{u},\mathbf{\lambda },t)-{\mathbf{\lambda }}^T(\dot{\mathbf{x}}+\delta \dot{\mathbf{x}})\right]}^{\ast }\mathrm{d}t \\ -\mathbf{\Theta }{\left(\mathbf{x}(t_f),t_f\right)}^{\ast }-{\int }_{t_0}^{t_f^{\ast }}{\left[H(\mathbf{x},\mathbf{u},\mathbf{\lambda },t)-{\mathbf{\lambda }}^T\dot{\mathbf{x}}\right]}^{\ast }\mathrm{d}t \end{gathered}$$

将上式线性化：
$$\begin{gathered} \delta J_E={\left[\frac{\partial \mathbf{\Theta }}{\partial \mathbf{x}(t_f)}\right]}^{\ast }\delta \mathbf{x}(t_f)+{\left[\frac{\partial \mathbf{\Theta }}{\partial t_f}\right]}^{\ast }\delta t_f+{\int }_{t_0}^{t_f^{\ast }}{\left[{\left(\frac{\partial H}{\partial \mathbf{u}}\right)}^T\delta \mathbf{x}+{\left(\frac{\partial H}{\partial \mathbf{u}}\right)}^T\delta \mathbf{u}-{\mathbf{\lambda }}^T\delta \dot{\mathbf{x}}\right]}^{\ast }\text{d}t \\ +{\int }_{t_f^{\ast }}^{t_f^{\ast }+\delta t_f}{\left[H(\mathbf{x}+\delta \mathbf{x},\mathbf{u}+\delta \mathbf{u},\mathbf{\lambda },t)-{\mathbf{\lambda }}^T(\dot{\mathbf{x}}+\delta \dot{\mathbf{x}})\right]}^{\ast }\mathrm{d}t\text{\hspace{1em}(14)} \end{gathered}$$

针对式$(14)$，对于${\int }_{t_0}^{t_f^{\ast }}{\left[{\left(\frac{\partial H}{\partial \mathbf{u}}\right)}^T\delta \mathbf{x}+{\left(\frac{\partial H}{\partial \mathbf{u}}\right)}^T\delta \mathbf{u}-{\mathbf{\lambda }}^T\delta \dot{\mathbf{x}}\right]}^{\ast }\text{d}t$这一项，采用分部积分法，可化为：
$$\begin{gathered} {\int }_{t_0}^{t_f^{\ast }}{\left[{\left(\frac{\partial H}{\partial \mathbf{u}}\right)}^T\delta \mathbf{x}+{\left(\frac{\partial H}{\partial \mathbf{u}}\right)}^T\delta \mathbf{u}-{\mathbf{\lambda }}^T\delta \dot{\mathbf{x}}\right]}^{\ast }\text{d}t \\ \Downarrow \\ {\int }_{t_0}^{t_f^{\ast }}{\left[{\left(\frac{\partial H}{\partial \mathbf{u}}+\dot{\mathbf{\lambda }}\right)}^T\delta \mathbf{x}+{\left(\frac{\partial H}{\partial \mathbf{u}}\right)}^T\delta \mathbf{u}\right]}^{\ast }\text{d}t-{\mathbf{\lambda }}^T(t_f^{\ast })\delta \mathbf{x}(t_f^{\ast }) \end{gathered}$$

对于${\int }_{t_f^{\ast }}^{t_f^{\ast }+\delta t_f}{\left[H(\mathbf{x}+\delta \mathbf{x},\mathbf{u}+\delta \mathbf{u},\mathbf{\lambda },t)-{\mathbf{\lambda }}^T(\dot{\mathbf{x}}+\delta \dot{\mathbf{x}})\right]}^{\ast }\mathrm{d}t$这一项，忽略二阶小量，可化为：
$$\begin{gathered} {\int }_{t_f^{\ast }}^{t_f^{\ast }+\delta t_f}{\left[H(\mathbf{x}+\delta \mathbf{x},\mathbf{u}+\delta \mathbf{u},\mathbf{\lambda },t)-{\mathbf{\lambda }}^T(\dot{\mathbf{x}}+\delta \dot{\mathbf{x}})\right]}^{\ast }\mathrm{d}t \\ \Downarrow \text{一阶展开} \\ \approx {\int }_{t_f^{\ast }}^{t_f^{\ast }+\delta t_f}{\left[H(\mathbf{x},\mathbf{u},\mathbf{\lambda },t)+{\left(\frac{\partial H}{\partial \mathbf{x}}\right)}^T\delta \mathbf{x}+{\left(\frac{\partial H}{\partial \mathbf{u}}\right)}^T\delta \mathbf{u}-{\mathbf{\lambda }}^T\dot{\mathbf{x}}-{\mathbf{\lambda }}^T\delta \dot{\mathbf{x}}\right]}^{\ast }\mathrm{d}t \\ \Downarrow \text{忽略小量} \\ \approx H^{\ast }(\mathbf{x},\mathbf{u},\mathbf{\lambda },t)\delta t_f-{\mathbf{\lambda }}^T(t_f^{\ast })\dot{\mathbf{x}}(t_f^{\ast })\delta t_f \\ \Downarrow \text{合并整理} \\ =H^{\ast }\delta t_f-{\mathbf{\lambda }}^T(t_f^{\ast })\left[\delta \mathbf{x}(t_f)-\delta \mathbf{x}(t_f^{\ast })\right] \end{gathered}$$

因此，式$(14)$可以化为：
$$\begin{gathered} \delta J_E={\left[\frac{\partial \mathbf{\Theta }}{\partial \mathbf{x}(t_f)}\right]}^{\ast }\delta \mathbf{x}(t_f)-{\mathbf{\lambda }}^T(t_f^{\ast })\delta \mathbf{x}(t_f)+{\left[\frac{\partial \mathbf{\Theta }}{\partial t_f}\right]}^{\ast }\delta t_f+H^{\ast }\delta t_f \\ +{\int }_{t_0}^{t_f^{\ast }}{\left[{\left(\frac{\partial H}{\partial \mathbf{x}}+\dot{\mathbf{\lambda }}\right)}^T\delta \mathbf{x}+{\left(\frac{\partial H}{\partial \mathbf{u}}\right)}^T\delta \mathbf{u}\right]}^{\ast }\text{d}t\text{\hspace{1em}(15)} \end{gathered}$$

$J_E$取极值的必要条件是：对任意的$\delta \mathbf{x},\delta \mathbf{u},\delta \mathbf{x}(t_f),\delta t_f$，变分$\delta J_E=0$，也就是说：

状态方程： $\dot{\mathbf{x}}=\frac{\partial H}{\partial \mathbf{\lambda }}=\mathbf{f}\left[\mathbf{x}(t),\mathbf{u}(t),t\right]$

协态方程： $\dot{\mathbf{\lambda }}=-\frac{\partial H}{\partial \mathbf{x}}$

控制方程： $\frac{\partial H}{\partial \mathbf{u}}=0$

横截条件： $\{\begin{array}{rl}\mathbf{\lambda }(t_f)& =\frac{\partial \mathbf{\Theta }}{\partial \mathbf{x}(t_f)}=\frac{\partial \psi }{\partial \mathbf{x}(t_f)}+\frac{\partial {\mathbf{G}}^T}{\partial \mathbf{x}(t_f)}\mathbf{v}\\ H(t_f)& =-\frac{\partial \mathbf{\Theta }}{\partial t_f}=-\frac{\partial \psi }{\partial t_f}-\frac{\partial {\mathbf{G}}^T}{\partial t_f}\mathbf{v}\end{array}$

终端时刻自由时，多了一个方程$H(t_f)=-\frac{\partial \mathbf{\Theta }}{\partial t_f}=-\frac{\partial \psi }{\partial t_f}-\frac{\partial {\mathbf{G}}^T}{\partial t_f}\mathbf{v}$，用于求出最优终端时间。

注释3：哈密顿函数和拉格朗日函数的区别在于，拉格朗日函数多了一项$\dot{\mathbf{x}}$，暂时可以这么理解。

3）终端时间自由/固定，终端状态自由/固定

。。。。。。见下，自行推导。

参考文献

1. 罗亚中, 张进, 杨震. 航天系统优化方法自编讲义-第四章.
2. 最优控制原理课件.