离散时间最优调节器(dlqr)

1. 离散时间系统无限时间最优调节器

考虑离散时间线性定常系统：
$$x(k+1)=Ax(k)+Bu(k)$$
性能指标：
$$J=\frac{1}{2}\sum _{k=k_0}^{\infty }[x^T(k)Qx(k)+u^T(k)Ru(k)]$$
定义：
$$J[x(j)]=\frac{1}{2}\sum _{k=j}^{\infty }[x^T(k)Qx(k)+u^T(k)Ru(k)]$$
要使得代价函数达到最小，的最优控制律为
$$u(j)=-R^{-1}{B}^T\frac{\partial J^{\ast }[x(j+1)]}{\partial x(j+1)}$$
则相应的最小代价函数为：

$$J^{\ast }[x(j)]=\frac{1}{2}{x}^T(j)Qx(j)+J^{\ast }[x(j+1)]+\frac{1}{2}\frac{\partial J^{\ast }[x(j+1)]}{\partial x^T(j+1)}B{R}^{-1}{B}^T\frac{\partial J^{\ast }[x(j+1)]}{\partial x(j+1)}$$

注意到上式结构，且$Q$和$B{R}^T{B}^T$是常数矩阵，因此可令：

$$J^{\ast }[x(j)]=\frac{1}{2}{x}^T(j)Px(j)$$
将其偏导数带入控制律中：
$$u(j)=-R^{-1}{B}^{T}Px(j+1)$$
带入系统中得到：
$$x(j+1)=\Lambda x(j+1)$$
其中
$$\Lambda =A-B[R+B^{T}PB{]}^{-1}{B}^{T}PA$$
因此我们可以带入最小代价函数中得到:
$$\frac{1}{2}{x}^T(j)Px(j)=\frac{1}{2}{x}^T(j)Qx(j)+\frac{1}{2}{x}^T(j){\Lambda }^{T}P\Lambda x(j)+\frac{1}{2}{x}^T(j){\Lambda }^{T}PB{R}^{-1}{B}^{T}P\Lambda x(j)$$

可得到P满足：
$$P=Q+{\Lambda }^{T}P\Lambda +{\Lambda }^{T}PB{R}^{-1}{B}^{T}P\Lambda$$
将$\Lambda$的表达式带入上式中得到：
$$P=Q+A^{T}PA-A^{T}PB(R+B^{T}PB{)}^{-1}{B}^{T}PA$$

$$u(k)=-Kx(k)$$

$$K=(R+B^{T}PB{)}^{-1}{B}^{T}PA$$

2.离散时间系统有限时间最优调节器

对于离散时间系统：
$$x(k+1)=Ax(k)+Bu(k)$$
性能指标：
$$J=\frac{1}{2}{x}^T(N)S(N)x(N)+\frac{1}{2}\sum _{k=k_0}^{N-1}[x^T(k)Qx(k)+u^T(k)Ru(k)]$$
令

$$J[x(k),k]=\frac{1}{2}{x}^T(N)S(N)x(N)+\frac{1}{2}\sum _{j=k}^{N-1}[x^T(j)Qx(j)+u^T(j)Ru(j)]$$
则当$k=N$时，
$$J^{\ast }[x(N),N]=J[x(N),N]=\frac{1}{2}{x}^T(N)S(N)x(N)$$

其中$P(N)=S(N)$

当$k=N-1$时，
$$J^{\ast }[x(N-1),N-1]=\underset{u(N-1)}{\min }\left\{\frac{1}{2}{x}^T(N-1)Q(N-1)x(N-1)+\frac{1}{2}{u}^T(N-1)R(N)u(N-1)+J^{\ast }[x(N),N]\right\}$$

其中
$$x(N)=Ax(N-1)+Bu(N-1)$$
将上式带入$J^{\ast }[x(N-1),N-1]$中得：
J ∗ [ x ( N − 1 ) , N − 1 ] = min ⁡ u ( N − 1 ) { 1 2 x T ( N − 1 ) Q ( N − 1 ) x ( N − 1 ) + 1 2 u T ( N − 1 ) R ( N ) u ( N − 1 ) + 1 2 [ A ( N − 1 ) x ( N − 1 ) + B ( N − 1 ) u ( N − 1 ) ] T P ( N ) [ A ( N − 1 ) x ( N − 1 ) + B ( N − 1 ) u ( N − 1 ) ] } \begin{aligned} J^{*}[x(N-1),N-1]=\min \limits_{u(N-1)}\{ & \frac{1}{2}x^{T}(N-1)Q(N-1)x(N-1) +\frac{1}{2}u^{T}(N-1)R(N)u(N-1)\\ &+\frac{1}{2}[A(N-1)x(N-1)+B(N-1)u(N-1)]^{T}P(N)[A(N-1)x(N-1)\\ &+B(N-1)u(N-1)]\} \end{aligned} J∗[x(N−1),N−1]=u(N−1)min​{​21​xT(N−1)Q(N−1)x(N−1)+21​uT(N−1)R(N)u(N−1)+21​[A(N−1)x(N−1)+B(N−1)u(N−1)]TP(N)[A(N−1)x(N−1)+B(N−1)u(N−1)]}​
其中令：
$$\begin{array}{rl}H& =\frac{1}{2}{u}^T(N-1)R(N)u(N-1)\\ & +\frac{1}{2}[A(N-1)x(N-1)+B(N-1)u(N-1){]}^{T}P(N)[A(N-1)x(N-1)+B(N-1)u(N-1)]\end{array}$$
要使得$J^{\ast }[x(N-1),N-1]$最小，则求$\frac{\partial H}{\partial u}$
$$\frac{\partial H}{\partial u}=Ru(N-1)+B^T(N-1)P(N-1)[A(N-1)X(N-1)+B(N-1)u(N-1)]=0$$
则我们得到
$$u(N-1)=-K(N-1)x(N-1)$$
$$K(N-1)=[R+B^{T}P(N)B{]}^{-1}{B}^{T}P(N)A$$
将$u(N-1)$带入$J^{\ast }[x(N-1),N-1]$得：
$$J^{\ast }[x(N-1),N-1]=\frac{1}{2}{x}^T(N-1)P(N-1)x(N-1)$$

其中
$$P(N-1)=Q+A^{T}PA-A^{T}PBK-(A^{T}PBK{)}^T+K^T[R+B^{T}P(N)B]K$$

因此我们得到了递推公式如下所示：

$$u(k)=-K(k)x(k)$$

$$K(k)=[R+B^{T}P(k+1)B{]}^{-1}{B}^{T}P(k+1)A$$

$$P(k)=Q+A^{T}PA-A^{T}PBK(k)-(A^{T}PBK(k){)}^T+K^T(k)[R+B^{T}P(k+1)B]K(k)$$

$$P(N)=S(N)$$