【2024 Optimal Control and Reinforcement Learning 16-745】【Lecture 1】 Continuous-Time Dynamics 连续时间动力学

Lecture 1 : Continuous-Time Dynamics

连续时间动力学
这是2024年春季卡内基梅隆大学（CMU）最优控制与强化学习（CMU 16-745）课程的第一讲，由Zac Manchester教授主讲。
主题：
课程介绍
连续时间动态回顾
平衡点
稳定性
B站-西格螺丝「精校熟肉」Optimal Control-最优控制(CMU 16-745) 2024-L1-导论与动力学回顾
讲义链接
参考补充2023笔记-CSDN-我爱科研00-Introduction CMU最优控制16-745超详细学习笔记

Most general/generic for smooth system

光滑系统的最一般形式
$$\dot{x}=f(x,u)$$

• “dynamics” 动力学 f
• “state” 状态 $x\in {\mathbb{R}}^n$
• “input” 输入 $u\in {\mathbb{R}}^m$

For a mechanical system

对于机械系统
$$X=\left[\begin{array}{c}q\\ v\end{array}\right]$$
其中 $q$ 代表配置（位置），$v$ 代表速度。

Example: Pendulum

例子：摆

$$ml\ddot{\theta }+mgl\sin (\theta )=\tau$$

• 其中，$\theta$ 是摆角，$m$ 是质量，$l$ 是摆的长度，$g$ 是重力加速度，$\tau$ 是外部力矩（输入$u$）。
  

单摆的方程可以通过拉格朗日方程来推导，以下是推导过程的简要步骤：

1 定义变量和力学参数

• 角度 $\theta$ 代表摆的偏离垂直方向的角度。
• $m$ 是摆锤的质量。
• $l$ 是摆的长度。
• $g$ 是重力加速度。
• $\tau$ 是施加在摆上的外力矩。

2 拉格朗日函数的建立
拉格朗日函数 $L$ 为系统的动能 $T$ 和势能 $U$ 之差，即
$$L=T-U$$

• 动能：摆的动能可以由质量和速度的平方计算得到。由于单摆只有角度自由度，动能为： $$T=\frac{1}{2}m(l\dot{\theta }{)}^2=\frac{1}{2}m{l}^2{\dot{\theta }}^2$$

• 势能：势能与摆锤的高度有关，摆锤的高度与角度 $\theta$ 有关，势能为： $$U=mgl(1-\cos (\theta ))$$

因此，拉格朗日函数为： $$L=\frac{1}{2}m{l}^2{\dot{\theta }}^2-mgl(1-\cos (\theta ))$$

3 使用拉格朗日方程求解
拉格朗日方程为： $$\frac{d}{dt}\left(\frac{\partial L}{\partial \dot{\theta }}\right)-\frac{\partial L}{\partial \theta }=0$$

• 对 $\dot{\theta }$ 求偏导： $$\frac{\partial L}{\partial \dot{\theta }}=m{l}^2\dot{\theta }$$

• 对 $\theta$ 求偏导： $$\frac{\partial L}{\partial \theta }=-mgl\sin (\theta )$$

将上述结果代入拉格朗日方程，得到： $$\frac{d}{dt}(m{l}^2\dot{\theta })+mgl\sin (\theta )=0$$

即： $$m{l}^2\ddot{\theta }+mgl\sin (\theta )=0$$

4 引入外力矩
外力矩 $\tau$ 可以直接加到方程中，得到最终的单摆方程： $$m{l}^2\ddot{\theta }+mgl\sin (\theta )=\tau$$

State Representation

状态表示
$$q=\theta ,v=\dot{\theta }$$

$$x=\left[\begin{array}{c}\theta \\ \dot{\theta }\end{array}\right]\Rightarrow \dot{x}=\left[\begin{array}{c}\dot{\theta }\\ \ddot{\theta }\end{array}\right]=\left[\begin{array}{c}\dot{\theta }\\ -\frac{g}{l}\sin (\theta )+\frac{1}{m{l}^2}\tau \end{array}\right]$$

System Constraints

系统约束

• $q\in S^1$ (Circle), $x\in S^1\times \mathbb{R}$ (Cylinder)
  

1. $q\in S^1$ (Circle)

这表示变量$q$（通常是角度$\theta$）属于单位圆上的点。

• $S^1$ 是数学中表示一维圆的符号，意味着$q$是一个环形变量，取值范围是$0\le q<2\pi$（即角度$\theta$的取值范围）。
• 在单摆的情况中，$q$通常表示摆的角度，它在$0$到$2\pi$之间循环变化。

2. $x\in S^1\times \mathbb{R}$ (Cylinder)

这表示状态空间$x$是一个由两部分构成的集合：

• 第一部分：$S^1$，表示环形的角度变量$q$，即摆的角度。

• 第二部分：$\mathbb{R}$，表示线性变量，通常是角速度$\dot{\theta }$或其他状态变量。

• $S^1\times \mathbb{R}$ 是“单位圆与实数轴的笛卡尔积”，可以被看作一个圆柱体形状的状态空间。

• 这里的状态空间$x$包含了摆的角度$q$和角速度$\dot{q}$，因此$x$在数学上是一个圆柱体，其中圆的部分是角度，实数轴部分是速度。

1. $S^1$是什么？

• $S^1$ 表示的是单位圆，这个数学符号描述了一个一维的闭合曲线，所有点都距离圆心的距离是1。
• $S^1$ 的一个常见例子就是角度$\theta$，它的取值范围是从$0$到$2\pi$，代表一个完整的圆形运动。例如，一个摆的角度$\theta$可以从$0$（垂直向下）开始，转到$2\pi$（又回到最初位置）。

2. $S^1\times \mathbb{R}$是怎么回事？

• $S^1\times \mathbb{R}$ 代表的是 $S^1$（一个圆）和$\mathbb{R}$（实数轴）的笛卡尔积 。
• 这里的笛卡尔积的意思是将圆（$S^1$）与一个实数（例如角速度$\dot{\theta }$）结合在一起，形成一个新的空间。换句话说，$x$
  在这个空间中表示的是角度（$S^1$）和角速度（$\mathbb{R}$）的组合。

假设你有一个摆：

• 当摆的角度$\theta =0$时（比如说，摆垂直向下），你可以给它一个角速度$\dot{\theta }$（例如，$\dot{\theta }=1$表示角速度为1）。
• 当摆的角度$\theta =\pi$时（比如说，摆正好摆到最远的位置），你依然可以给它一个角速度$\dot{\theta }$，比如$\dot{\theta }=-2$。

这个过程可以表示为：

• $q\in S^1$：角度变量$q$是一个圆上的位置，随着时间不断地从$0$到$2\pi$变化，回到起点。
• $x\in S^1\times \mathbb{R}$：状态空间是圆柱形的，它不仅包括圆上的角度，还包括与之对应的角速度，形成一个二维的空间。这个空间包含了所有的角度和对应的角速度。

Control - Affine Systems

控制 - 仿射系统
$$\dot{x}=f_0(x)+B(x)u$$
其中 $f_0(x)$ 是漂移项，$B(x)$ 代表输入雅可比矩阵。
Most systems can be put in this form
大多数系统可以表示为此形式
这是连续性系统方程的一种特殊的形式，控制输入$u$通过仿射矩阵来直接作用于系统。

Pendulum

摆的例子
$$f_0(x)=\left[\begin{array}{c}\dot{\theta }\\ -\frac{g}{l}\sin (\theta )\end{array}\right],B(x)=\left[\begin{array}{c}0\\ \frac{1}{m{l}^2}\end{array}\right]$$

Manipulator Dynamics

机械臂动力学

$$M(q)\dot{v}+C(q,v)=B(q)u+F$$

• “Mass matrix”
  • “质量矩阵”
• “Dynamic term (Coriolis-Gravity)”
  • “动态项（科里奥利效应-重力）”
• “Input Jacobian”
  • “输入雅可比矩阵”
• “External Forces”
  • “外部力”

$$\dot{q}=G(q)v$$

• “Velocity Kinematics”
  • “速度运动学”

$$\dot{x}=f(x,u)=\left[\begin{array}{c}G(q)v\\ M(q{)}^{-1}(B(q)u-C)\end{array}\right]$$

Pendulum

摆的例子
$$M(q)=m{l}^2,C(q,v)=mgl\sin (\theta ),B=I,G=I$$

General Equation Form

一般方程形式

• All mechanical systems can be written like this
  所有机械系统都可以用这种形式表示

• This is just a way of re-writing the Euler-Lagrange equation for
  这只是重写欧拉-拉格朗日方程的一种方式

$$L=\frac{1}{2}{v}^{T}M(q)v-U(q)$$

• “Kinetic energy”
  • “动能”
• “Potential energy”
  • “势能”

Linear Systems

线性系统

$$\dot{x}=A(t)x+B(t)u$$

• Called “time invariant” if
  如果系统是“时间不变”的
  $$A(t)=A,B(t)=B$$

• Called “time varying” otherwise
  否则，称为“时间变化”

• Super important in control
  在控制中非常重要

• We often approximate nonlinear systems with linear ones
  我们常常将非线性系统用线性系统近似
  $$\dot{x}=f(x,u)\Rightarrow A=\frac{\partial f}{\partial x},B=\frac{\partial f}{\partial u}$$

Equilibria

平衡点

• A point where the system will “remain at rest”
  系统将“保持静止”的点

  $$\dot{x}=f(x,u)=0$$

  • 这表示系统的状态（$x$）在平衡点时的变化率为零，意味着系统处于静止状态。

• Algebraically, roots of the dynamics
  代数上，动力学方程的根

  • 这表示平衡点是动力学方程的解，或系统的根。

Pendulum

摆的例子

• Pendulum dynamics
  摆的动力学
  对于摆：
  $$\ddot{\theta }=\frac{g}{l}\sin (\theta )+\frac{1}{m{l}^2}\tau$$
  $$\dot{x}=\left[\begin{array}{c}\dot{\theta }\\ -\frac{g}{l}\sin (\theta )\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$
  这里是摆的状态方程，$\theta$是摆的角度，$\dot{\theta }$是角速度，$g$是重力加速度，$l$是摆的长度。

• Solution

  $$\dot{\theta }=0,\theta =0,\pi$$

  • 平衡点的解是角速度$\dot{\theta }=0$，角度$\theta =0$ 或 $\theta =\pi$，这表示摆垂直向下或向上。

---

说明：

• $\theta =0$ 代表摆垂直向下的位置，$\theta =\pi$ 代表摆垂直向上的位置。
• 这两个点是单摆的稳定平衡点。

First Control Problem

第一个控制问题

• Can I move the equilibria?
  我能改变平衡点吗？
  $$\dot{x}=\left[\begin{array}{c}\dot{\theta }\\ -\frac{g}{l}\sin (\theta )+\frac{1}{m{l}^2}u\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

改变平衡点为$\theta =\pi /2$
$$\Rightarrow u=mgl$$

• In general, we get a root-finding problem in
  一般来说，我们得到一个根求解问题
  $$f(x^{\ast },u)=0$$

Stability of Equilibria

平衡点的稳定性

• When will we stay “near” an equilibrium point under perturbations
  在扰动下，我们何时能保持在平衡点附近？

Look at a 1D system

考虑一个一维系统
$$\dot{x}=f(x)$$
一个三次多项式的系统方程

Stable and Unstable Equilibrium
稳定与不稳定平衡

• If $\frac{\partial f}{\partial x}<0\Rightarrow$ stable
• If $\frac{\partial f}{\partial x}>0\Rightarrow$ unstable

In Higher Dimensions

在更高维度中的稳定性

• $\frac{\partial f}{\partial x}$ is a Jacobian matrix
  $\frac{\partial f}{\partial x}$ 是雅可比矩阵

• Take an eigen decomposition $\Rightarrow$ decouple into n 1D systems
  进行特征值分解，$\Rightarrow$ 将系统解耦成n个一维系统

  • Re [eig($\frac{\partial f}{\partial x}$)] < 0 $\Rightarrow$ stable

  • Otherwise $\Rightarrow$ unstable

Pendulum Example

摆的例子
$$f(x)=\left[\begin{array}{c}\dot{\theta }\\ -\frac{g}{l}\sin (\theta )\end{array}\right]\Rightarrow \frac{\partial f}{\partial x}=\left[\begin{array}{cc}0& 1\\ -\frac{g}{l}\cos (\theta )& 0\end{array}\right]$$

• For $\theta =\pi$:
  当 $\theta =\pi$ 时 求特征值
  $$\frac{\partial f}{\partial x}{|}_{\theta =\pi }=\left[\begin{array}{cc}0& 1\\ \frac{g}{l}& 0\end{array}\right]\Rightarrow eig\left(\frac{\partial f}{\partial x}\right)=\pm \sqrt{\frac{g}{l}}$$
  For $\theta =\pm \pi$ we get an unstable equilibrium
  对于 $\theta =\pm \pi$，我们得到不稳定的平衡点

• For $\theta =0$:
  当 $\theta =0$ 时 求特征值
  $$\frac{\partial f}{\partial x}{|}_{\theta =0}=\left[\begin{array}{cc}0& 1\\ -\frac{g}{l}& 0\end{array}\right]\Rightarrow eig\left(\frac{\partial f}{\partial x}\right)=\pm i\sqrt{\frac{g}{l}}$$
  系统是临界稳定的。这意味着，假如在平衡点处给一点小扰动，那么单摆在没有空气阻力的情况下将会一直荡下去。

  • Pure imaginary case is called “marginally stable”
    纯虚数情况称为“边际稳定”
    $\Rightarrow$ Undamped oscillations
    无阻尼振荡

Damping Effect

阻尼效应

• Pure imaginary case is called “marginally stable”
  纯虚数解称为“边际稳定”
  $\Rightarrow$ Undamped oscillations
  无阻尼振荡

• Add damping (e.g., $U=-K_d\dot{\theta }$) results in strictly negative real part
  加入阻尼（例如 $U=-K\dot{\theta }$）结果是严格的负实部

在物理系统中加入阻尼后，会导致系统的振荡逐渐减弱，并最终停止。具体来说，这里的 阻尼（damping）指的是一种物理机制，它消耗系统的能量，通常表现为一种与速度（或者角速度）成正比的力。

加入阻尼后，$u=-K\dot{\theta }$会导致系统的运动逐渐减弱，因为它会使得系统的特征解中的实部为负，这表示振荡的能量被消耗，最终系统会停止振荡。

我们结合单摆的例子来解释阻尼作用和为何加入阻尼后会导致实部为负，使得系统的振荡逐渐消失。

1. 单摆的基本模型

单摆的动力学可以通过以下方程来描述：

$$m{l}^2\ddot{\theta }+mgl\sin (\theta )=\tau$$

在没有外力作用时，系统的自然运动是摆的振荡，也就是摆在某个角度范围内不断来回摆动。

2. 加入阻尼后的方程

当我们在系统中加入阻尼时，阻尼力通常是与摆的角速度 $\dot{\theta }$ 成正比的，即：

$$\tau =-K\dot{\theta }$$

其中$K$ 是阻尼系数，表示阻尼力的强度。

加入阻尼后的运动方程变为：

$$m{l}^2\ddot{\theta }+mgl\sin (\theta )+K\dot{\theta }=0$$

或者，可以简化为：

$$\ddot{\theta }+\frac{g}{l}\sin (\theta )+\frac{K}{m{l}^2}\dot{\theta }=0$$

3. 阻尼对系统的影响：

3.1 无阻尼情况：

• 在没有阻尼的情况下，系统会持续振荡，摆的角度 $\theta$ 会在某个范围内来回摆动。此时，系统的运动方程会有复数解，其中的实部为零，这意味着系统的振幅不会随时间减小或增大，而是保持恒定（无能量损失）。在这种情况下，摆的振荡是理想的，没有任何能量损失。

3.2 加入阻尼后的情况：

• 加入阻尼后，系统的能量开始不断被消耗，因为阻尼力与角速度成正比，角速度越大，阻尼力就越大，进而减缓摆的运动。通过上面的方程可以看到，加入阻尼项后，系统的特征解会有一个负实部，这意味着摆的振幅会随着时间逐渐减小，最终系统停止振荡。

3.3 数学解释： 为了简化分析，我们可以对上述方程进行线性化（假设小角度摆动，$\sin (\theta )\approx \theta$）：

$$\ddot{\theta }+\frac{g}{l}\theta +\frac{K}{m{l}^2}\dot{\theta }=0$$

这是一个二阶线性微分方程，解这个方程时，我们可以得到复数解，其形式为：

$$\theta (t)=A{e}^{\lambda t}$$

其中 $\lambda$是特征根，它由方程的系数决定，表示系统的稳定性。

• 如果系统无阻尼，则解为纯虚数根，表示振荡保持恒定，频率不变。
• 加入阻尼后，特征解的实部变为负值，表示系统的振荡会随着时间逐渐衰减，振幅变小，直到最终停止。

特征根的形式可以表示为：

$$\lambda =-\frac{K}{2m{l}^2}\pm i\sqrt{\frac{g}{l}}$$

这里，负实部$-\frac{K}{2m{l}^2}$ 表示能量的消耗，即振荡的幅度会逐渐减小。

3.4 阻尼的影响

• 阻尼作用下的系统：当我们加入阻尼项时，系统的振荡会出现能量损失，实部为负表示振荡会逐渐衰减。这种衰减是指数衰减，系统的角度会逐渐趋向零，最终停止振荡。
• 如果没有阻尼$K=0$，那么系统将永远保持同样的振荡，不会衰减。
• 如果加入过多的阻尼，系统将变为过阻尼，即振荡完全停止，系统没有来回摆动的过程。