【OC】Pontryagin最大值原理

古典变分法

在控制向量$\mathbf{u}(t)$不受限的情况下，变分法和最大值原理是等效的，但是当$\mathbf{u}(t)$受限的情况下，最大值原理也是有效的，可以认为最大值原理是变分法的推广.
考虑一个$\mathbf{u}(t)$受限制的例子
例：一阶系统
$$\dot{x}(t)=-x(t)+u(t),x(0)=1$$
其中$|u(t)|\le 1$，求$u(t)$使指标函数$J={\int }_0^{1}x(t)dt$有极小值。
解析：该问题为自由端问题，使用变分法求解，引入乘子$\lambda (t)$，构造哈密顿函数
$$H(t)=x(t)+\lambda (t)(-x(t)+u(t))$$
伴随方程和边界条件为
$$\dot{\lambda }(t)=-\frac{\partial H}{\partial x}=\lambda (t)-1,\lambda (1)=0$$
由极值必要条件
$$\frac{\partial H}{\partial u}=\lambda (t)=0$$
可以发现，$\lambda =0$无法满足微分方程$\dot{\lambda }=\lambda -1$，所以可知，极值存在边界上，导致变分法无效.
使用变分法求解最优控制，需要$H$对$\mathbf{u}$存在导数，但是如燃料控制问题
$$J={\int }_{t_0}^T\sum _{j=1}^k|u_j|dt$$
无法满足导数存在的条件.

最大（小）值原理

泛函极值问题的必要条件为
$$\underset{\mathbf{u}\in \mathbf{U}}{\min }H(x\text{x}x,u\text{u}u,\lambda \text{λ}\lambda ,t)$$
设函数$f(x\text{x}x,u\text{u}u,t),\phi (x\text{x}x(T),T)$和$L(x\text{x}x,u\text{u}u,t)$对变元$x\text{x}x$与$t$连续，并且对$x\text{x}x$和$t$有一阶连续偏导数，容许控制$u\text{u}u(t)$可以是连续分段函数，根据微分方程的理论可知，状态方程的解存在且唯一，并且是连续和分段可微分的.
定理（最小值原理）：设$u\text{u}u(t)$是容许控制，$x\text{x}x(t)$是对应的积分轨线，为了使${u\text{u}u}^{\ast }(t)$为最优控制，${x\text{x}x}^{\ast }(t)$为最优轨线，必存在向量函数$\lambda \text{λ}\lambda (t)$，使得${x\text{x}x}^{\ast }(t)$和$\lambda \text{λ}\lambda (t)$满足正则方程
$$\{\begin{array}{rl}& \dot{x}(t)=\frac{\partial H}{\partial \lambda \text{λ}\lambda }\\ & \dot{\lambda }(t)=-\frac{\partial H}{\partial x\text{x}x}\end{array}$$
且$H$函数在任何时刻$t$，相对于最优控制${u\text{u}u}^{\ast }(t)$存在最小值，即
$$\underset{u\in U}{\min }H(x^{\ast }(t),\lambda \text{λ}\lambda (t),u\text{u}u(t),t)=H({x\text{x}x}^{\ast }(t),\lambda \text{λ}\lambda (t),{u\text{u}u}^{\ast }(t),t)$$
最小值原理是最优控制所满足的必要条件，但是对于线性系统
$$\dot{x}(t)=A(t)x(t)+B(t)u(t)$$
其中
$$A(t)=\left[\begin{array}{cccc}& a_{11}(t)& \dots & a_{1n}(t)\\ & ⋮& \ddots & ⋮\\ & a_{n1}(t)& \dots & a_{nn}(t)\end{array}\right]B(t)=\left[\begin{array}{c}{b}_1(t)\\ ⋮\\ b_n(t)\end{array}\right]$$
最小值原理也是使泛函$J$取得最小值的充分条件.
例 1：同上例.
解析：引入乘子$\lambda (t)$构造哈密顿函数
$$H=x(t)-\lambda (t)(-x(t)+u(t))=(1-\lambda )x(t)+\lambda u(t)$$
得到伴随方程以及边界条件为
$$\{\begin{array}{rl}& \dot{\lambda }(t)=-\frac{\partial H}{\partial x}=\lambda (t)-1\\ & \lambda (1)=0\end{array}$$
根据极小值原理，需要求出$H$的极值，可控制项$\lambda u(t)$需要取值为负极值，所以$|u|$取边界值
$$u=-sgn(\lambda )=\{\begin{array}{ll}-1& \lambda >0\\ 1& \lambda <0\end{array}$$
根据伴随方程的解形式
$$\lambda (t)=1-\exp (t-1)>0,0\le t\le t$$
可知$\lambda (t)>0$, 所以$u^{\ast }(t)=-1$，将$u^{\ast }(t)=-1$代入状态方程得到
$$\dot{x}(t)=-x(t)-1，x(0)=1$$
通解形式为$x(t)=k_1{x}^{-t}+k_2$，求解得到最优轨线为$x^{\ast }(t)=2e^{-t}-1$，得到最优性能指标为
$$J^{\ast }={\int }_0^1{x}^{\ast }(t)dt=-2e^{-1}+1$$
可以得到协态变量和控制变量的关系如图所示

例 2 设系统为
$$\dot{x}=-x(t)+u(t),x(0)=1$$
控制向量约束为$|u(t)|\le 1$，求控制$u(t)$使得性能指标泛函
$$J={\int }_0^1(x-\frac{1}{2}u)dt$$
有极小值
解析：构造哈密顿函数
$$H=x-\frac{1}{2}u+\lambda (-x+u)=(1-\lambda )x+(\lambda -\frac{1}{2})u$$
伴随方程及边界条件为
$$\{\begin{array}{rl}& \dot{\lambda }(t)=-\frac{\partial H}{\partial x}=\lambda -1\\ & \lambda (1)=0\end{array}$$
求解得到
$$\lambda (t)=-e^{t-1}+1$$
由最小值原理可以得到控制$u(t)$为
$$u=-sgn(\lambda -\frac{1}{2})$$
求出$\lambda (t)-\frac{1}{2}$的零点为$t=\ln \frac{e}{2}$，可以得到
$$u^{\ast }(t)=\{\begin{array}{rlr}& -1& 0\le t\le \ln \frac{e}{2}\\ & 1& \ln \frac{e}{2}<t\le 1\end{array}$$
代入$u^{\ast }(t)$到状态方程，得到
$$\dot{x}=-x+u=\{\begin{array}{rlr}& -x-1& 0\le t\le \ln \frac{e}{2}\\ & -x+1& \ln \frac{e}{2}<t\le 1\end{array}$$
求解微分方程，且根据在$t=\ln \frac{e}{2}$处连续得到
$$x^{\ast }(t)=\{\begin{array}{rlr}& 2e^{-t}-1& 0\le t\le \ln \frac{e}{2}\\ & (2-e)e^{-t}+1& \ln \frac{e}{2}<t\le 1\end{array}$$

变分法与最小值原理关系

当$u(t)$无约束时，条件
$$\underset{u\in U}{\min }H(x^{\ast },\lambda ,u,t)$$
等价于
$$\frac{\partial H}{\partial u}=0$$
且当$u$不受限制时，伴随方程
$$\dot{\lambda }(t)=-\frac{\partial H}{\partial x}$$
和极值条件
$$\frac{\partial H}{\partial u}=0$$
就是欧拉方程
$$\frac{\partial F}{\partial x}-\frac{d}{dt}\frac{\partial F}{\partial \dot{x}}=0$$
证明过程见《现代控制理论（第二版）》Page 283.

参考资料

用庞特里亚金极小值原理求解二阶系统的最优控制问题
现代控制理论（第二版）清华大学出版社 张嗣瀛 高立群
控制学领域书单推荐
最优控制综述
动态优化–汉密尔顿函数（最优控制）和HJB方程（动态规划）
Geogebra使用
Geogebra数学 知乎专栏