Chaos as an Intermittently Forced Linear System（混沌作为一种间歇强迫线性系统）

作者：Steven L. Bruntonn, Bingni W. Brunton, Joshua L. Proctor, Eurika Kaiser, J. Nathan Kutz
翻译：Wendy

摘要

  理解混沌系统中有序和无序的相互作用是现代定量科学的一个中心挑战。我们提出了一个普遍的，数据驱动的混沌分解作为一个间歇强迫线性系统。本文将Takens的延迟嵌入与现代库普曼算子理论和稀疏回归相结合，得到了强非线性动力学的线性表示。结果是混沌动力学分解成一个线性模型的前导时滞坐标的强迫低能量时滞坐标，我们称之为库普曼（HAVOK）分析的汉克尔另类观点。这种分析应用于典型的洛伦兹系统，以及现实世界的例子，如地球磁场逆转，以及来自心电图、脑电图和麻疹爆发的数据。在每种情况下，强迫统计量都是非高斯分布的，长尾对应于触发间歇开关和爆发现象的罕见事件；这种强迫是高度预测性的，在这些事件之前提供了一个清晰的信号。此外，强迫信号的活动划分了相空间的大相干区域，这些区域的动力学是近似线性的，而不是强非线性。

关键词 ：动力系统，混沌，数据驱动模型，时间延迟，Koopman分析

1 Introduction（引言）

  动力系统描述了我们周围的世界，模拟了随着时间共同进化的数量之间的相互作用。这些动力学常常导致丰富和复杂的行为，可能很难从不确定的测量中预测，这种现象通常被称为混沌。混沌动力学在物理、生物和工程科学中无处不在，一个多世纪以来，它们吸引了很多专业人士和非专业人士。行星的运动、天气与气候、人口动态、流行病学、金融市场、地震、太阳耀斑和动荡，所有这些都为混沌提供了引人注目的例子。尽管使用混沌这个名字，但是混沌并不是随机的，而是具有很强的内部规律性的，表现出连贯的结构和模式。

  大数据和机器学习领域的先进算法的结合，正在推动科学和工程领域分析和理解动力系统的范式转变。数据是丰富的，而物理定律或控制相关规律的方程仍然难以捉摸，就像气候科学，金融和神经科学的问题一样。即使在流等控制方程确实存在的经典领域，研究人员也越来越多地转向数据驱动的分析领域。许多重要的数据驱动领域，如气候变化的预测、通过记录神经元电流来理解认知、或者控制湍流来高效生产能源等，都已经准好利用数据驱动的动力学去发现其进展。

  著名的Takens嵌入定理是基于数据驱动的早期比较成功的一个例子，它可以从单次测量的时间序列重建一个与原始混沌吸引子不同的吸引子。这个显著的结果表明，在某些条件下，一个像流一样复杂的系统的全部动力学可以通过测量单个的时间序列变量展现。延迟嵌入被广泛应用与混沌系统的分析和表征以及用于线性系统识别的特征系统实现算法（ERA），在气候科学中使用奇异光谱分析(SSA)，和非线性拉普拉斯普分析（NLSA）。到目前为止，在使用延迟嵌入来描述混沌和严格使用它们来识别非线性动力学模型之间存在脱节。

  历史上，关于动力系统的两种主流观点要么是几何的，要么是统计的。从几何角度看，如图1所示，相空间轨迹的组织和拓扑提供了全局动力学的定性图像，并能够详细定量地描述不动点或周期轨道附近的局部动力学。相空间转化很大程度上是由鞍点介导的，即使在图1 中相对简单的系统，如双摆或者Lorenz系统，其动力学也可能导致混沌动力学。统计角度用轨迹集合的描述代替了对单个轨迹的分析，提供了混合和不确定性的概念，同时平衡了混沌系统的表面结构和无序性。最近，第三个操作者理论的观点，基于系统的测量功能的演变，正在获得牵引。虽然最近大量的预测数据重新激起了人们的兴趣，但这种方法是由Koopman在1931年引入的，并不新鲜。

  在这里，我们发展了一个普适的数据驱动的混沌分解成强迫线性系统的方法。这依赖于时滞嵌入，这是动力系统的基石，但基于回归模型和现代koopman算子理论有了新的观点。该方法将相空间划分为作用力小和作用力大，且动力学近似线性的相干域。这种强迫可以从时间序列数据中测量出来，并可以在现实中很好的预测吸引子开关和爆炸现象。由机器学习和Koopman理论支持的强非线性动力学的线性表示，有望改变我们在许多不同领域的估计、预测和控制复杂系统的能力。

2 Background（背景）

  本文的结果是在现代动力系统的背景下提出的，特别是在Koopman算子方面。在这一节中，我们提供动力系统相关概念的简要概述，包括在第2.1节中对Koopman算子理论的讨论，在2.2.1节中对数据驱动动力系统回归技术的讨论，以及在2.3节中对延迟嵌入理论的讨论。在整个工作中，我们将考虑以下形式的连续动力系统：

以及以下形式的离散动力系统：

其中xk可以通过对Eq.(1)中的轨迹进行离散采样得到，因此有xk=x0(kΔt) 。离散时间传播器F由流形式的映射给出：

考虑实验数据时，离散时间的观点通常更自然。

2.1 Koopman operator theory（Koopman算子理论）

  Koopman谱分析是在1931年由B.O.Koopman提出的，用来描述哈密顿系统测量的演化，并在1932年由Koopman和von Neumann推广到具有连续谱的系统。Koopman提供了一个替代更常见的几何和统计观点，而不是描述进化算子，推进空间的测量函数的状态的动力系统。Koopman算子k是一个无限维线性算子，根据（2）式中的动力学原理，将状态x在时间上向前推进的测量函数g:

因为这对所有的测量函数g都成立，k是作用于Hilbert空间上无线维的状态函数。关于Koopman算子的详细讨论，有许多优秀的研究文章和综述。

  非线性动力学的线性描述是有吸引力的，因为存在许多强大的分析技术来分解、推进和控制线性系统。然而，Koopman框架用有限维度的非线性动力学替代了无限维的线性动力学。除了几个值得注意的例外，很少得到Koopman算子的解析表示。因此，获取Koopman算子的有限维近似（即矩阵K）是数据驱动分析和控制的一个重要目标；这依赖于对Koopman算子保持不变的测量子空间。考虑一个由测量函数张成的测量子空间（g1,g2,…）使得对于该子空间中的任何测量g有：

然后它在被Koopman算子作用后仍然在子空间中：

在这种情况下，我们可以将Koopman算子限制到这个p维测量子空间，得到一个p×p矩阵表示k，如图2所示。

以前已经有研究证明，这种表示对于某些非线性系统的预测和控制是有用的有限维Koopman不变子空间。如果存在这样的矩阵表示，则有可能定义一个线性系统，提出限制于（5）子空间的测量函数，如下：

是不变子空间中的度量向量，在xk处的取值。左特征向量根据ξ和K产生ϕ=ξy•库普曼形式。

  然而，在实践中，用Koopman不变子空间来获得这样的表示是极具挑战性的。此外对于具有多个吸引子、周其轨道和不动点的系统，不可能得到包含全状态x的线性测量值的不变子空间。这很容易看出，因为有限维线性系统不允许有多个不动点或吸引结构。此外，在混合混沌系统中，Koopman算子甚至不总是具有离散谱的情况。然而，数据驱动的线性逼近的动态系统的观点仍然是有价值的。通过正确选择测量函数，利用Koopman可以在不动点或周期轨道吸引的整个盆地中得到线性模型。如第2.2.1节所述，基于回归的方法获得Koopman算子的有限逼近，已经成为文献中的标准方法，尽管这些方法都依赖于选择一个比较好的测量函数。确定近似或精确地产生线性演化方程的良好测量坐标将是未来几年和几十年动力系统的主要挑战之一。在接下来的内容中，我们将证明延迟坐标为吸引子上的混沌动力学提供近似不变测量空间的能力。

2.2 Data-driven dynamic regression（数据驱动的动态回归）

  随着数据量的增加，使用现代回归技术来获得模型变得越来越有可能。随着机器学习的新技术使从数据中提取更多信息成为可能，这个充满活力的领域将继续发展。在本节中，我们提供一个简要介绍两个主要的回归系统识别技术：1）动态模式分解（DMD），它提供一种从高维数据中获取最佳线性算子快照，并且与Koopman算子在某些情况下的算子近似；2）最近稀疏识别的非线性动力学（辛迪）算法，产生吝啬的非线性模型，然后通过稀疏回归得到一个非线性函数库。

2.2.1 Dynamic mode decomposition (动态模式分解，DMD)

  动态模式分解（DMD）最初被引入流体动力学领域，用于将大型实验或数值数据集分解为领先的时空相干结构。不久之后，研究表明DMD算法为近似Koopman模态分解提供了一个有价值的实用框架。DMD和Koopman算子之间的联系在动态回归的框架中得到进一步的证明和强化。

  DMD算法寻找一个最佳拟合的线性模型来关联以下两个数据矩阵：
矩阵X包含系统状态在时间上的快照，X’是在时间上向前推进一步的相同快照的矩阵。这些矩阵可以由给定的最佳拟合线性算子相关联：

其中 X†是一种违逆，通过奇异值分解得到。矩阵A是一个最佳线性算子，最小化Frobenius的标准误差
对于中等大维的系统，算子A是非常庞大的，因此我们不直接求A，而是求A的主要特征分解：

  DMD最初的公式是基于系统状态x的线性测试量，如粒子图像速度的测量（PIV）。这意味着测量函数g是状态的恒等映射。线性测量对于许多非线性动力学系统来说不够丰富，因此最近DMD被扩展为包含非线性函数状态的增广测量向量。然而，如何选择正确的非线性测量值来得到近似封闭的Koopman不变测量系统仍然是一个有待解决的问题。典型地，测量函数或者是使用来自动力学系统的信息（例如，使用NavierStokes方程的二次非线性)确定的，或者是通过在希尔伯特空间的特定基上的强力搜索（例如，搜索多项式函数或径向函数）确定的。

2.2.2 Sparse identification of nonlinear dynamics (辨识非线性动力学，SINDy)

  最近发展的一项技术，非线性动力学的稀疏辨识（SINDy）算法，从测量数据中识别非线性动力学。SINDy算法在非线性函数空间中使用稀疏回归来确定动力学中少数的活跃项。早期基于压缩感知的相关方法已被用于预测动态系统中的灾难。还有其他方法使用符号回归（例如，遗传编码）来识别动力学。这项工作是正在探索稀疏性在动力学和动力系统中的使用的日益增长的文献的一部分。

  SINDy算法是一种从数据中识别动态系统（1）的无方程方法，与DMD方法很相似。SINDy算法的基础是观察数据，对于许多感兴趣的系统，函数f只有几个活动项，使得它在可能函数空间中是稀疏的。稀疏回归可以有效地识别少数的非零项，而不是对动态中的活动项执行强制搜索。

  为了从数据中确定函数f,我们收集状态x(t)和导数x’(t)的时间历程，注意x’(t)可以从x近似得到。该数据被多次采样t1,t2,…tm，并排列成以下两个大矩阵：

其中每一列都是等式（1）右侧的一个候选函数。因为在f的每一行中，只有少数的非线性函数是有效的，采用稀疏回归法确定系数的稀疏向量，Ξ = [ξ1 ξ2· · · ξn]说明哪些非线性是有效的。

我们可以用稀疏回归方法求出等式（16）中的Ξ。在许多情况下，为了使得等距限制成立，我们可能需要首先规范化Θ(X)。当X中的元素很小的时候，这一点特别重要，因为X的幂是极小的。

  注意，在图书馆Θ包含线性测量的状态，SINDy方法变成了一个线性回归，与上述的DMDM模式密切相关，但要用到转置符号。SINDy算法也可以通用于离散的时间序列模式。

2.3 Time-delay embedding（时间延迟嵌入）

  长期以来，人们观察到，选择好的测量方法是建模、预测和控制同台系统的关键。线性动力系统可观测性的概念提供了条件，当系统的全状态可以从系统的测量时程估计，为动态估计提供了严格的基础，如 Kalman滤波器。尽管这个方法已经扩展到非线性系统，但在这个更一般的背景下，相关应用的研究成果还是比较少的。

  Takens嵌入定理[95]为分析非线性动力系统的测量信息内容提供了一个严格的框架。可以使用自身的时间延迟副本x(t-τ)来丰富度量x(t)，这被称为延迟坐标。在一定的条件下，延迟坐标动态系统中的吸引子与原动态系统吸引子是拓扑同构的。这是真正值得注意的，正如这个理论所说，在某些情况下，从测量到的单一时间序列重建流体的整个吸引子是可能的。类似的微分嵌入也可以用测量的导数来构造。Tkens嵌入理论与非线性可观测性相关，为这两个重要领域之间提供了关键的联系。

  延时嵌入已经广泛应用于分析和表征混沌系统。利用广义延迟坐标和特征系统实现算法（ERA）经常用于线性系统的识别。在大气科学中，利用奇异谱分析（SSA）和非线性拉普拉斯普分析（NLSA）进行线性系统识别。这些方法都是基于Hanke矩阵的奇异值分解，下文将对此进行讨论。

2.3.1 Hankel matrix analysis

  特征系统实现算法（ERA）以及七一光谱分析（SSA）都是基于从一个时间序列的测量数据中构建Hankel矩阵。接下来，我们将介绍单个标量测量的理论，尽管这个框架可以概括为多输入多输出（MIMO）问题。

  下面这个矩阵来源于一个测量的时间序列数据：

H的列给出的特征时间序列矩阵的层次分解U和V。这些列是根据它们分别表示矩阵H的列和行方差的能力排序的。当测量值y(t)来自可观测线性系统的脉冲响应时，可利用矩阵H的奇异值分解（SVD）来重建精确的全动力学模型。该ERA程序广泛应用于系统识别，最近与DMDM连接。下面，我们将通过Koopman分析，将Hankel矩阵的系统识别推广到非线性动力系统。

3 Decomposing chaos: Hankel alternative view of Koopman (分解混沌：Hankel矩阵对Koopman的另一种观点，HAVOK)

  获得强非线性系统的线性表示，有可能彻底改变我们预测和控制这些系统的能力。事实上，不动点或周期轨道附近的动力学线性化早就被用于动力学的局部线性表示。Koopman算子是有吸引力的，因为他提供了一个全局的线性表示，有效地远离不动点和周期轨道，尽管以前尝试获得有限维Koopman算子的近似成功有限。动态模态分解（DMD）寻求用最佳拟合线性模型来近似Koopman算子，将空间测量从一次推进到下一次。然而，DMD是基于线性的，这是不够丰富许多非线性系统的。用于非线性测量值来扩充DMD可以丰富模型，但不能保证得到的模型在Koopman算子下是封闭的。

  我们根据系统的历史时间获得的测量值代替系统的瞬时状态值。这个观点是基于数据驱动的，它依赖于来自以前测量的丰富信息来预知未来。与线性系统或弱非线性系统不同，轨迹可能被困在固定点或周期轨道上，混沌动力学特别适合这种分析：轨迹发展到密集地填满吸引子，所以更多的数据提供更多的信息。

  这种方法如图3所示，用于第4节的Lorenz系统中，这个满足于Takens嵌入定理条件，因此对以下Hankel矩阵H进行奇异值分解（SVD），可以从单个测量的x(t)时间序列中得到特征时延坐标。

SVD中的U和V的列分别根据他们对H的列和行建模能力进行分层排列。通常，H可以接受U和V的前r列的低秩近似。值得注意的是等式（20）中的Hankel矩阵是线性系统识别的ERA和气候时间序列分析的SSA的基础。

  等式（20）的低秩近似提供了一个数据驱动的测量系统，该系统对吸引子上的状态近似不变的Koopman算子。根据定义，动力学将吸引子映射到自身，使其不受流的影响。我们可以用Koopman算子K重写等式（20：

  （20）和（21）的列可以很好地近似于U的前r列，所以这些特征时间序列提供了一个Koopman不变的测量系统。第V列的前r列提供一个时间序列的每个列的大小的UΣ数据。通过绘制出V的前三列，我们得到了一个Lorenz系统的嵌入式吸引子，如图3所示。利用Gavish和Donohol的最优硬阈值或其他吸引子维数可得到秩r。

  从（20）得到的特征时延坐标与Koopman算子之间的联系，建立了V中变量的线性回归模型。即使是一个近似Koopman不变的测量系统，在确定一个混沌系统的线性模型上仍然存在挑战。一个线性模型，无论如何详细，都无法捕捉多个不懂带你或具有正Lyapunov指数的混沌不可预测的行为特征。我们不是为V中的第一个r个变量建立一个封闭的线性模型，而是在第一个r-1个变量上建立一个线性模型，并将最后一个变量vr作为强迫项：
其中v = [v1 v2 · · · vr-1]T这是第一个r-1特征时滞坐标的向量。在接下来的所有例子中，第一个r-1项的线性模型是准确的，但是没有代表vr的线性模型。反而，vr是（22）中线性动力学的强迫输入，近似（1）中的非线性动力学。vr(t)的统计是非高斯分布，如图3右下角面板所示。在Lorenz系统中，长尾对应于驱动波切换的罕见事件强迫；这与其他人观察和模拟的罕见事件强迫分布有关。

  将非线性动力学的稀疏辨识（SINDy）算法应用于Lorenz系统的延迟坐标，发现了（22）中的强迫线性系统。即使考虑到v的非线性动力学的可能性，最简洁的模型是线性的，在A矩阵中占主导地位的非对角结构（如图所示）。这强烈暗示了与Koopman 算法的联系，激励了目前的工作。最后一项vr不能准确地用线性或多项式非线性模型表示。我们将这里提出的框架称为库普曼（HAVOK）分析的Hankel替代观点。

  HAVOK分析将在下面第4节详细探讨洛伦茨系统，第5节将广泛探讨数值、实验和历史数据模型。在几乎所有这些例子中，除了与瞬态吸引子开关(例如洛伦兹系统中的叶开关)或破裂现象(麻疹爆发)相对应的间歇点状事件之外，强迫作用一般都很小。当强迫信号很小时，库普曼线性系统在数据驱动的延迟坐标上很好地描述了动力学。当压力较大时，系统由基本的非线性驱动，这通常对应于间歇开关或冲击事件。小的和大的强迫区域对应相空间的大的相干区域，可以通过机器学习技术进一步分析。

4 HAVOK analysis illustrated on the chaotic Lorenz system（说明混沌洛伦兹系统的HAVOK分析）

  为了进一步理解将混沌系统分解为具有间歇性强迫的线性动力学，我们在图3中演示了混沌洛伦兹系统的HAVOK分析[63]:

其中参数σ=10，ρ=28，β=8/3。Lorenz系统是表现出混沌的确定性动力系统中最简单和研究得最透彻的例子之一。Lorenz系统的一个轨迹如图4所示，使用表2和表3中的参数进行集成。轨迹沿着以两个叶为特征的吸引子运动，通过通过区域中间的鞍点(x, y, z) =(0,0,0)附近，在两个叶之间间歇性地来回切换。

下面将更详细地提供图3中的各种面板，并附有标签和单元。首先，测量x变量的时间序列并绘制在图5中。如Eq.(20)所示，将测量向量的时移副本叠加成Hankel矩阵的行，就有可能通过奇异值分解得到特征-延迟坐标系。这些特征时延坐标，由矩阵V的列给出，是测量x(t)中最自相似的时间序列特征，根据它们在数据中捕获的方差排序。

从Takens嵌入理论中我们知道，延时坐标提供了将标量测量x(t)嵌入到更高维度空间的方法。所得到的吸引子，如图6所示，与图4中的原始吸引子是分形的。

然后，利用时滞坐标建立了HAVOK模型。特别地，得到了前14个坐标的线性模型(v1, v2，…由V的第15列给出，从第15坐标v15得到线性强迫。该模型如图7所示，具体数值见附录的表4。该模型可以通过简单的线性回归过程得到，并且可以添加一个稀疏惩罚项来消除模型中[13]系数很小的项。该模型可以通过简单的线性回归过程得到，并且可以添加一个稀疏惩罚项来消除模型中[13]系数很小的项。


使用以信号v15为输入的HAVOK模型，可以重构嵌入的吸引子，如图8所示。

图9显示了主导时滞坐标v1的模型预测，以及来自v15的输入强迫信号。从这个图中可以清楚地看出，大多数时候强迫信号接近于零，并且当轨道即将从吸引子的一个波瓣切换到另一个波瓣时，这个信号开始爆发。

4.1 HAVOK models are predictive（HAVOK模型具有预测性）

  从图9中还不清楚v15的爆发行为是预先预测了波瓣切换，还是仅仅在切换过程中处于活跃状态。为了研究这一点，有可能通过选择v2时的值来隔离强制项v15处于活动状态的区域，当v2_15大于一个阈值(4×10-6
)，并将轨道的这些部分涂成红色。当作用力很小时，轨迹的其余部分显示为深灰色。这些红色和灰色的轨迹片段如图10所示，在图10中可以清楚地看到脉冲明显地先于波瓣切换。这是非常有希望的，因为事实证明强迫项的活动是可预测的，在前叶开关近一个周期。同样的轨迹在图11的三维中被绘制出来，在那里可以看到，当轨迹在吸引子叶的外部部分时，非线性强迫是活跃的。对波瓣切换的预测是很好的，尽管我们可以看到这个过程偶尔会漏掉一个切换事件。图12显示了一个单瓣开关事件，说明了轨迹的几何形状。

重要的是要注意，当强迫项很小时，对应于轨迹的灰色部分，动力学很大程度上由线性动力学控制。因此，强迫项实际上提取了系统的基本非线性，表明当动力学即将切换吸引子的叶。




在实践中，可以通过与u15模式(矩阵U中的第15列)卷积，从一个流时间序列x(t)中测量v15，如图13所示。最后，力项v15的概率密度函数如图14所示;与正态分布相比，长尾表示罕见的间歇开关事件。动态罕见事件在气候和海浪中得到了很好的研究。

4.2 HAVOK models generalize beyond training data（HAVOK模型可以进行推广到训练数据之外）

  重要的是，将HAVOK模型一般化，以测试未用于训练模型的数据。图15显示了在t = 0到t = 50的数据上训练的HAVOK模型在t = 50到t = 100的新数据上的验证测试。该模型能准确地捕捉主波瓣的变化，但在长时间的积分过程中会逐渐引入小的误差。

4.3 Structure and integrability of the HAVOK model for the Lorenz system

  Lorenz系统的HAVOK模型(见附录的表4)是高度结构化的。线性动力学的A矩阵几乎是斜对称的，并且对角线上和对角线下的项非常接近5的整数倍。这个结构引起了我们的兴趣，我们在下面构造了一个近似系统，它代表Lorenz系统的HAVOK模型中的理想化结构:

这个理想化的系统被从整个洛伦兹系统v15信号强迫，动态响应如图16所示。如图17和图18中的放大图所示，尽管理想化的模型性能会随着时间的推移而下降，但在最初的50个时间单位中，这种一致性非常好。



  全HAVOK模型的特征值和整值逼近如表1所示。特征值之间有相当好的一致性，与整值模型是完全可积的，因此轨迹驻留在一个拟周期轨道上。这在动力系统的Koopman算子模型中是可以预料到的。有趣的是，特征值对的一些虚部是彼此的接近倍数(例如，22.0058几乎是11.1600的倍数)。这在库普曼模型中也是可以期望的，因为库普曼算子的特征值的整数倍也是对应于库普曼特征函数的整数次幂的特征值。

4.4 Connection to almost-invariant sets and Perron-Frobenius(与近似不变集和Perron-Frobenius的联系)

  Koopman算子是Perron-Frobenius算子的对偶或左伴随，它也被称为概率密度函数空间上的传递算子或推进算子。因此，库普曼分析典型地描述了从单一轨迹测量的演变，而Perron-Frobenius分析描述了轨迹的集合。由于这两个算子关系密切，比较 Koopman(HAVOK)分析和从Perron-Frobenius算子的近似不变集是很有趣的。几乎不变集表示动态孤立的相空间区域，其中轨迹驻留较长时间，与环境仅有微弱的通信。这些集合在动力学作用下几乎是不变的，并且与Perron-Frobenius算子的主导特征值和特征函数有关。它们可以通过将相空间离散成小盒，并计算一个大的，但稀疏的转移概率矩阵来确定，在固定的时间内，不同盒中的初始条件如何流动到其他盒;对于这个分析，我们使用相同的T = 0.1作为HAVOK分析中U向量的长度。根据文献[34]提出的方法，可以通过计算相关的可逆转移矩阵和对其右特征向量进行水平集阈值设定来估计近似不变集。

  图19展示出了Lorenz系统的Perron-Frobenius算子的近似不变集。有两个集合，每个集合分别对应于一个吸引子叶的近盆地和相反的吸引子叶的外盆地以及连接它们的轨迹束。这两个近似不变集吻合形成完全洛伦兹吸引子。在近似不变集下，根据HAVOK模型中非线性强迫项的阈值大小对洛伦兹吸引子进行着色，该方法将吸引子划分为两个集合，分别对应流动近似为线性的区域(内部黑色区域)和流动强烈非线性的区域(外部红色区域)。值得注意的是，Perron-Frobenius算子的近似不变集的边界与HAVOK分析得到的线性和非线性区域的边界非常匹配。然而，这可能并不奇怪，因为这些集合的边界是动态分隔，标记了定性上不同的动态的边界。

5 HAVOK analysis on additional chaotic systems（附加混沌系统的HAVOK分析）

  图20将HAVOK分析应用于分析系统和实际系统。每个例子的代码可于以下网址下载: http://faculty.washington.edu/sbrunton/HAVOK.zip.

这些例子涵盖了广泛的系统，包括典型的混沌动力系统，如Lorenz系统和Rossler系统，以及双摆系统，这是表现混沌运动的最简单的物理系统之一。作为一个更现实的例子，我们考虑了地球磁场反转的随机驱动模拟，其中复杂的磁铃动力学(MHD)方程被建模为由湍流波动驱动的发电机。在这种情况下，尽管与磁场反转相对应的吸引子开关被保留了，但是线性模型并没有捕捉到吸引子的确切形式。在最后三个例子中，我们探讨了从心电图(ECG)和脑电图中收集数据的方法(脑电图)，并记录了纽约市从1928年到1964年36年的麻疹病例。

  在每个例子中，定性吸引子动力学被捕获，并且重要的是，大的瞬变和间断现象被模型预测。这些大的瞬变和间歇性事件对应于相空间中强迫大的相干区域(图20右列，红色)。用Koopman线性系统在时滞坐标系下对强迫较小的区域(黑色)进行了很好的建模。大的强迫常常发生在间歇事件之前(洛伦兹系统的叶开关和磁场逆转，或突发麻疹爆发)，使这种信号具有预测性。

  这里提出的理论是特别有用的，因为强迫线性模型推广超出了训练数据，他们被建立。从测试轨迹得到的数据可以测试HAVOK模型，而这些数据并不是用来训练模型的。强迫信号vr(t)从新的验证时间序列中提取，并作为(22)中的输入,输入到模型中，从而忠实再现吸引子动力学，包括波瓣切换事件。强迫项vr(t)是在相对较短的时间窗中获得的，因此它可以被测量和用于实际应用中的预测。

5.1 Parameters(参数)

  本文的所有系统在这一节中被描述，包括运动方程的细节，数据收集，和每个系统的关键特征。数值算例的仿真参数如表2所示，HAVOK分析所用的参数如表3所示。

  示例系统范围从常微分方程(ODE)模型到延迟微分方程(DDE)和随机微分方程(SDE)，以及纯由测量数据表征的系统。我们也考虑了强迫杜芬振荡器，它不是混沌的参数检查，但提供了一个弱非线性的例子来研究。

5.2 Description of all examples

5.2.1 Duffing oscillator（Duffing振荡器）

  杜芬振子是一个简单的动力系统，有两个势井被鞍点隔开，如图1中间面板所示。动力学由

5.2.2 Chaotic Lorenz system

5.2.3 R¨ossler system

这个系统展示了有趣的动力学，轨迹的特征是在x- y平面上的振荡，在z方向上被偶然的瞬态增长和衰减所打断。我们把这种行为称为爆发，因为它对应于从吸引子到自身的一个瞬变过程，而不是洛伦兹系统中在吸引子叶之间切换的波瓣。

5.2.4 Mackey-Glass delay differential equation

5.2.5 Double pendulum（双摆）

  双摆是表现出混沌的最简单的物理系统之一。对双摆的数值模拟比较灵敏，采用了基于欧拉-拉格朗日方程的变分积分器：

5.2.6 Earth’s magnetic field reversal

  众所周知，地球磁场可以逆转地质时间尺度。理解和预测这些罕见事件是现代地球物理学的一个重要挑战。通过考虑地球内部的紊流磁流体动力学，可以模拟引起磁场转换的基本动力学。个简化的模型可以通过建模湍流波动作为对发电机的随机强迫得到。

  关于磁场A的微分方程为:

5.2.7 Electrocardiogram (ECG)

  心电图(ECG)测量心脏的电活动，产生与每次心跳相关的特征性尖峰脉冲。长期以来，ECG的数据一直使用延迟嵌入来量化ECG记录的分形维数。在这项分析中，我们使用的是[49]中使用的ECG信号qtdb/sel102，改编自PhysioNet数据库。该信号对应T = 380秒的数据，采样率为250 Hz。

5.2.8 Electroencephalogram (EEG)

  脑电图(EEG)是一种通过放置在头皮上的电极对大脑活动的非侵入性测量。从这些电极记录电压的时间序列，虽然通常分析脑电图的光谱内容，但也有大量时间序列脑电图分析的例子。虽然可以通过电极阵列获得大量数据，但电压信号只是大脑活动的粗略代理，因为信号必须通过硬脑膜、脑脊液、颅骨和头皮的厚层。
  从https://physionet.org/pn4/sleep-edfx/网站可以获取相关数据。

5.2.9 Measles outbreaks

  时间序列分析长期以来被用于理解和建模疾病流行。对麻疹暴发进行了特别深入的研究，部分原因是有大量准确的历史数据。Sugihara和May的开创性工作使用Takens嵌入理论进行分析麻疹疫情。麻疹暴发是混乱的。在这里，我们使用了1928年到1964年纽约市麻疹爆发的数据，每两周被丢弃一次。

  图23显示了麻疹暴发数据的v1和vr特征时间序列。v1信号是疫情严重程度的标志，负值越大，麻疹病例就越多。强迫信号准确地捕捉了许多暴发，特别是1940年以后最大的暴发。在这次暴发之前，v1出现了两次小的下降，这可能导致使用其他预测方法出现假阳性。然而，在疫情爆发之前，强迫信号变得很大。

6 Discussion（总结讨论）

  总之，我们提出了一个数据驱动的过程，即HAVOK分析，来识别混沌的间歇强迫线性系统表示。该程序基于机器学习回归、Takens嵌入和库普曼算子理论。强迫信号的活动在这些模型预测间歇性瞬态事件，如波瓣切换和爆发，并分割相空间相干线性和非线性区域。更普遍的是，寻找内在的或自然的测量坐标对于寻找复杂系统的简单表示是至关重要的，而且随着数据的增长，这一点只会变得越来越重要。复杂系统的简单、线性表示是一个长期追求的目标，为非线性估计、预测和控制的一般理论提供了希望。这种分析将有望激发新的策略，以测量、理解和控制各种科学和工程应用中的混沌系统。