离散LQR：原理，求解与拓展

该文档用以总结离散LQR的基本原理，反馈控制率的求解和一些拓展（时变系统，跟踪命题等）。主要参考的是Stanford的课程EE363: Linear Dynamical Systems的部分课件。

目录

---

1 有限时域离散LQR的基本原理

这里我们首先考虑一个离散的线性系统：

$$x_{t+1}=Ax_{t}+Bu_t, x_0 = x^{init}$$
LQR的目标就在于，找到一组控制序列 $u_0, u_1, ...$ 能够使得：

• $x_0, x_1, ...$ 尽量小，即将状态调节到零点；
• $u_0, u_1, ...$ 尽量小，即控制器付出较小的努力；

然而，这两个目标往往是冲突的，因为较大的控制作用$u$ 能更快地将状态调节到零点。因此LQR就是根据需要设计出一组控制率来实现上面两个目标的权衡。

为此，我们定义如下的二次代价函数（quadratic cost function）：

$$J(U)= \sum_{\tau=0}^{N-1} {(x_{\tau}^TQx_{\tau}+ u_{\tau}^TRu_{\tau})} +x_N^{T}Q_fx_N$$ 这里 $U=(u_0, u_1, ...,u_{N-1})$，且

$$Q=Q^T \ge 0, \quad Q_f = Q_f^T\ge 0, \quad R=R^T \gt0$$ 分别被称为 state cost, final state cost, input cost 矩阵。

代价函数中的三项分别用来衡量状态偏差，输入偏差以及最终状态偏差。$Q$ 和 $R$ 用来确定状态和输入的相对权重。
因此，LQR的问题就是，找到一组序列：$u_0^{\text{lqr}}, ..., u_{N-1}^{\text{lqr}}$ 来最小化代价函数 $J(U)$。

通常 $Q$ 和 $R$ 的形式为：

$$R=\rho I, \quad Q=Q_f=C^TC$$ 这里 $C \in \mathbf R^{p\times n}, \quad \rho \in \mathbf R, \quad \rho \gt 0$。

于是，代价函数就可以变形为：

$$J(U)= \sum_{\tau=0}^N {\lVert y_{\tau} \rVert ^2}+ \rho \sum_{\tau=0}^{N-1} {\lVert u_{\tau} \rVert ^2}$$ 这里 $y=Cx$， ρ