The Optimal Control of Linear Quadratic System

Formulation of LQS (Linear Quadratic System)

LQS的最优控制是

  • Linear指的是系统的状态方程是线性的。
  • Quadratic指的是代价函数是二次泛函。

设线性时变系统的状态方程为
x ( t ) ˙ = A ( t ) x ( t ) + B ( t ) u ( t ) \dot{x(t)} = A(t)x(t) + B(t)u(t) x(t)˙=A(t)x(t)+B(t)u(t) y ( t ) = C ( t ) x ( t ) y(t) = C(t)x(t) y(t)=C(t)x(t)

假设控制向量 u ( t ) u(t) u(t)不受约束,用 y r ( t ) y_{r}(t) yr(t)表示期望输出,则误差向量为:
e ( t ) = y r ( t ) − y ( t ) e(t) = y_{r}(t) - y(t) e(t)=yr(t)y(t)
目的是求最优控制 u ∗ ( t ) u^{*}(t) u(t),使下列二次型性能指标最小:
J ( u ) = 1 2 e T ( t f ) F e ( t f ) + 1 2 ∫ t 0 t f [ e T ( t ) Q ( t ) e ( t ) + u ( t ) T R ( t ) u ( t ) ] d t J(u) = \frac{1}{2}e^{T}(t_{f})Fe(t_{f}) + \frac{1}{2} \int_{t_{0}}^{t_{f}} [e^{T}(t)Q(t)e(t) + u(t)^{T}R(t)u(t)]dt J(u)=21eT(tf)Fe(tf)+21t0tf[eT(t)Q(t)e(t)+u(t)TR(t)u(t)]dt

where
F F F——半正定对称常数加权矩阵
Q ( t ) Q(t) Q(t)——半正定对称时变加权矩阵
R ( t ) R(t) R(t)——正定对称时变加权矩阵
t 0 t_{0} t0 t f t_{f} tf固定

u ∗ ( t ) u^{*}(t) u(t)是状态反馈控制器(区别于传统控制理论中的输出反馈控制器。状态反馈和输出反馈都能影响系统的稳定性。加入反馈,通过反馈构成的闭环系统成为稳定系统,这个过程称之为镇定。由于状态反馈具有很多优越性,且输出反馈系统总可以找到与之性能等同的状态反馈系统,故只需讨论状态反馈的镇定问题。)。

我们的目标是得到:
u ∗ ( t ) = − K ( t ) x ( t ) u^{*}(t) = -K(t)x(t) u(t)=K(t)x(t)

  • 性能指标的物理含义:
    L e = 1 2 e ( t ) T Q ( t ) e ( t ) ⩾ 0 L_{e} = \frac{1}{2}e(t)^{T}Q(t)e(t) \geqslant 0 Le=21e(t)TQ(t)e(t)0 —— 状态转移过程中衡量 e t e_{t} et大小的代价函数
    L u = 1 2 u ( t ) T R ( t ) u ( t ) > 0 L_{u} = \frac{1}{2}u(t)^{T}R(t)u(t) > 0 Lu=21u(t)TR(t)u(t)>0 —— 状态转移过程中衡量 u ( t ) u(t) u(t)大小的代价函数
    ϕ ( t f ) = 1 2 e ( t f ) t F e ( t f ) ⩾ 0 \phi (t_{f}) = \frac{1}{2}e(t_{f})^{t}Fe(t_{f}) \geqslant 0 ϕ(tf)=21e(tf)tFe(tf)0 —— 终端代价函数 (衡量终点误差)

  • 加权矩阵的意义:

  1. F , Q F, Q F,Q是衡量误差分量的加权矩阵, R R R是衡量控制分量的加权矩阵,可根据各分量的重要性灵活选取。
  2. 采用时变矩阵 Q ( t ) , R ( t ) Q(t), R(t) Q(t),R(t)更能适应各种特殊情况。(例如: t = t 0 t=t_{0} t=t0时刻 e ( t 0 ) e(t_{0}) e(t0)很大,但误差在系统开始前形成,并不反应系统性能的好坏,此时 Q ( t ) Q(t) Q(t)可开始取值小,而后取值大。)
  • 线性二次型系统的本质:
    用不大的控制,来保持较小的误差,以达到能量和误差综合最优的目的。

  • 线性二次型问题的三种重要情形:

  1. 状态调节器—— C ( t ) = I , y r ( t ) = 0 , y ( t ) = x ( t ) = − e ( t ) C(t) = I, y_{r}(t) = 0, y(t) = x(t) = -e(t) C(t)=I,yr(t)=0,y(t)=x(t)=e(t)
  2. 输出调节器—— y r ( t ) = 0 , y ( t ) = − e ( t ) y_{r}(t) = 0, y(t) = -e(t) yr(t)=0,y(t)=e(t)
  3. 跟踪问题—— y r ( t ) ≠ 0 , e ( t ) = y r ( t ) − y ( t ) y_{r}(t) \neq 0, e(t) = y_{r}(t) - y(t) yr(t)=0,e(t)=yr(t)y(t)
  • 线性二次型问题的特点:
    1.最优解可写成统一的解析表达式,实现求解过程规范化。
    2.可以兼顾系统的性能指标(快速性、准确性、稳定性、灵敏度)。

状态调节器

planning, LQR, LQG就是这种问题形式。

终端时间 t ≠ ∞ t \neq \infty t= —— 有限时间问题
终端时间 t = ∞ t = \infty t= —— 无限时间问题

  • 有限时间状态调节器问题

    设线性时变系统的状态方程为
    x ( t ) ˙ = A ( t ) x ( t ) + B ( t ) u ( t ) \dot{x(t)} = A(t)x(t) + B(t)u(t) x(t)˙=A(t)x(t)+B(t)u(t)
    初始条件 x ( t 0 ) = x 0 x(t_{0}) = x_{0} x(t0)=x0,终端时间 t ≠ ∞ t \neq \infty t=
    假设控制向量 u ( t ) u(t) u(t)不受约束,求最优控制 u ∗ ( t ) u^{*}(t) u(t),使系统的二次型性能指标取极小值。
    J ( u ) = 1 2 x T ( t f ) F x ( t f ) + 1 2 ∫ t 0 t f [ x T ( t ) Q ( t ) x ( t ) + u T ( t ) R ( t ) u ( t ) ] d t J(u) = \frac{1}{2}x^{T}(t_{f})Fx(t_{f}) + \frac{1}{2} \int_{t_{0}}^{t_{f}}[x^{T}(t)Q(t)x(t) + u^{T}(t)R(t)u(t)]dt J(u)=21xT(tf)Fx(tf)+21t0tf[xT(t)Q(t)x(t)+uT(t)R(t)u(t)]dt

    • 物理意义
      以较小的控制能量为代价,使系统保持在零值附近。
  • 无限时间状态调节器问题

    设线性定常系统的状态方程为:
    x ( t ) ˙ = A x ( t ) + B u ( t ) \dot{x(t)} = Ax(t) + Bu(t) x(t)˙=Ax(t)+Bu(t)
    初始条件 x ( t 0 ) = x 0 x(t_{0}) = x_{0} x(t0)=x0,终端时间 t = ∞ t = \infty t=
    假设控制向量 u ( t ) u(t) u(t)不受约束,求最优控制 u ∗ ( t ) u^{*}(t) u(t), 使系统的二次型性能指标取极小值。
    J ( u ) = 1 2 ∫ t 0 ∞ [ x T ( t ) Q x ( t ) + u T ( t ) R u ( t ) ] d t J(u) = \frac{1}{2} \int^{\infty}_{t_{0}}[x^{T}(t)Qx(t) + u^{T}(t)Ru(t)]dt J(u)=21t0[xT(t)Qx(t)+uT(t)Ru(t)]dt
    说明:
    1.要求系统完全可控。
    2. F = 0 F=0 F=0,人们所关心的总是系统在有限时间内的响应。


输出调节器

  • 有限时间输出调节器

    设线性时变系统的状态方程为
    x ( t ) ˙ = A ( t ) x ( t ) + B ( t ) x ( t ) \dot{x(t)} = A(t)x(t) + B(t)x(t) x(t)˙=A(t)x(t)+B(t)x(t) y ( t ) = C ( t ) x ( t ) y(t) = C(t)x(t) y(t)=C(t)x(t)
    假设控制向量 u ( t ) u(t) u(t)不受约束,求最优控制 u ∗ ( t ) u^{*}(t) u(t), 使下列二次型性能指标最小。
    J ( u ) = 1 2 y T ( t f ) F y ( t f ) + 1 2 ∫ t 0 t f [ y T ( t ) Q ( t ) y ( t ) + u T ( t ) R ( t ) u ( t ) ] d t J(u) = \frac{1}{2}y^{T}(t_{f})Fy(t_{f}) + \frac{1}{2} \int^{t_{f}}_{t_{0}}[y^{T}(t)Q(t)y(t) + u^{T}(t)R(t)u(t)]dt J(u)=21yT(tf)Fy(tf)+21t0tf[yT(t)Q(t)y(t)+uT(t)R(t)u(t)]dt
    时间 t 0 t_{0} t0 t f t_{f} tf固定,系统完全可观测。

    • 物理意义
      以较小的控制能量为代价,使输出保持在零值附近。

    根据系统能观条件,输出调节器问题可以转化为状态调节器问题。

  • 无限时间输出调节器

设线性定常系统的状态方程为
x ( t ) ˙ = A x ( t ) + B u ( t ) \dot{x(t)} = Ax(t) + Bu(t) x(t)˙=Ax(t)+Bu(t) y ( t ) = C x ( t ) y(t) = Cx(t) y(t)=Cx(t)

假设控制向量 u ( t ) u(t) u(t)不受约束,求最优控制 u ∗ ( t ) u^{*}(t) u(t),使得下列二次型性能指标最小:
J ( u ) = 1 2 ∫ t 0 ∞ [ y T ( t ) Q y ( t ) + u T ( t ) R u ( t ) ] d t J(u) = \frac{1}{2} \int_{t_{0}}^{\infty}[y^{T}(t)Qy(t) + u^{T}(t)Ru(t)]dt J(u)=21t0[yT(t)Qy(t)+uT(t)Ru(t)]dt
终端时间 t f → ∞ t_{f} \rightarrow \infty tf,系统完全能控且完全可观测。

跟踪器

  • 线性时变系统的跟踪问题

  • 线性定常系统的跟踪问题


Reference


LQR (Linear Quadratic Regulator)

LQR可以得到状态线性反馈的最优控制规律。
wiki

LQG (Linear Quadratic Gaussian)

LQG = LQR + Kalman Filter

  • 连续时间

考虑连续时间的线性动态系统:
x ( t ) ˙ = A ( t ) x ( t ) + B ( t ) u ( t ) + v ( t ) \dot{x(t)} = A(t)x(t) + B(t)u(t) + v(t) x(t)˙=A(t)x(t)+B(t)u(t)+v(t) y ( t ) = C ( t ) x ( t ) + w ( t ) y(t) = C(t)x(t) + w(t) y(t)=C(t)x(t)+w(t)其中,系统受到加成性的高斯系统噪声 v ( t ) v(t) v(t)和加成性的高斯量测噪声 w ( t ) w(t) w(t)影响。
控制目标就是求控制输入 u ( t ) u(t) u(t), 使得下列二次型性能指标最小:
J = E [ x T ( t f ) F x ( t f ) + ∫ t 0 t f [ x T ( t ) Q ( t ) x ( t ) + u T ( t ) R ( t ) u ( t ) ] d t ] J = \mathbb{E} [x^{T}(t_{f})Fx(t_{f}) + \int_{t_{0}}^{t_{f}}[x^{T}(t)Q(t)x(t) + u^{T}(t)R(t)u(t)]dt] J=E[xT(tf)Fx(tf)+t0tf[xT(t)Q(t)x(t)+uT(t)R(t)u(t)]dt]
最终时间 t f t_{f} tf可以是有限值也可以是无限值。
若最终时间为无限值,则代价函数的第一项可以忽略。
J = E [ ∫ t 0 t f [ x T ( t ) Q ( t ) x ( t ) + u T ( t ) R ( t ) u ( t ) ] d t ] J = \mathbb{E} [ \int_{t_{0}}^{t_{f}}[x^{T}(t)Q(t)x(t) + u^{T}(t)R(t)u(t)]dt] J=E[t0tf[xT(t)Q(t)x(t)+uT(t)R(t)u(t)]dt]

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值