TodyNet: Temporal Dynamic Graph NeuralNetwork for Multivariate Time Series Classification

摘要

多变量时间序列分类（MTSC）是一项重要的数据挖掘任务，可以通过流行的深度学习技术有效解决。不幸的是，现有基于深度学习的方法忽视了不同维度之间的隐藏依赖关系，也很少考虑时间序列的独特动态特征，导致缺乏足够的特征提取能力以获得令人满意的分类准确性。为了解决这个问题，本文提出了一种新的时间动态图神经网络（TodyNet），可以在没有预定义图结构的情况下提取隐藏的时空依赖关系。它使得信息能够在孤立但隐式相互依赖的变量之间流动，并通过动态图机制捕捉不同时间段之间的关联，进一步提高了模型的分类性能。与此同时，由于图神经网络（GNNs）的限制，无法学习图的分层表示。因此，我们还设计了一个时间图池化层，以获取具有可学习时间参数的全局图级表示，用于图的学习。动态图、图信息传播和时间卷积在一个端到端的框架中共同学习。在26个UEA基准数据集上的实验证明，所提出的TodyNet在MTSC任务中优于现有的基于深度学习的方法。

关键字：Multivariate time series classification (MSTC),Dynamic graph, Graph neural networks (GNN), Graph pooling.

1. Introduction

多变量时间序列（MTS）作为一种重要的数据类型，在各个领域广泛存在，涵盖了从动作识别、医疗保健到交通、能源管理以及其他现实场景等各个领域。在过去的十年中，随着数据获取和存储技术的发展，时间序列数据挖掘逐渐成为一个重要的研究课题。时间序列数据挖掘主要涉及三项任务：分类、预测和异常检测。多变量时间序列分类（MTSC）是将离散标签分配给多变量时间序列的问题，它有助于人们判断发生事件的情况。

多变量时间序列分类具有挑战性。一方面，与单变量时间序列分类任务相比，由于多变量时间序列具有各种时间顺序相关性和高维度，其特征化更加复杂。另一方面，与时间不变的分类任务不同，多变量时间序列中包含的隐藏信息更加丰富且更难挖掘。

多年来已经提出了许多方法来解决多变量时间序列分类问题。传统方法主要集中在距离相似性或特征上，例如动态时间规整与k最近邻（DTW-kNN）和形状特征（Shapelets），这些方法已被验证在许多基准多变量时间序列数据集上有效。然而，上述方法学需要进行数据预处理和特征工程，因为从庞大的特征空间中进行特征选择非常困难。它们未能充分捕捉每个变量的时间序列中的时序动态关系。

由于深度卷积神经网络（CNN）在多领域的广泛应用，近期的研究已经转向使用深度学习解决端到端的多变量时间序列分类任务。深度学习方法的优势在于它能够有效地学习低维特征，而不是处理大量的特征候选。许多用于多变量时间序列分类的方法是通过将最初设计用于单变量时间序列的模型进行改编的。全卷积网络（FCN）[11]在整体排名上优于传统方法。MLSTM-FCN 通过添加一个squeeze-and-excitation块来改进FCN，以达到更好的分类性能。此外，一些方法专门致力于通过学习潜在特征来解决多变量时间序列分类问题。这些基于深度学习的策略在多变量时间序列分类任务中显示出令人满意的结果。然而，目前用于解决多变量时间序列分类问题的深度学习模型很少考虑不同变量之间的隐藏依赖关系。

依赖关系可以自然地建模为图。近年来，图神经网络（GNNs）通过其对图结构强大的学习能力，成功地用于处理图数据。通过图神经网络对图的结构信息进行多样化的传播，可以捕捉每个节点的邻域信息。令人振奋的是，在多变量时间序列（MTS）中，每个变量可以被建模为图中的一个节点，它们通过隐藏的依赖关系相互连接。因此，通过图神经网络对MTS数据建模是一种有前景的方法，可以挖掘时间轨迹上变量之间的隐式依赖关系。时空图神经网络将外部图结构和时间序列数据作为输入，可以显著提高那些不利用图结构信息的方法的性能[13]。然而，仅在整个时间轨迹上构建一个图，这限制并忽略了动态过程对表示能力的影响。因此，下面的关键问题和挑战应该受到重视：

• 挖掘隐藏依赖关系。大多数用于多变量时间序列分类（MTSC）的模型侧重于提取变量间的特征，但忽视了不同变量之间存在隐式依赖关系的可能性。那么问题就是如何设计一个有效的框架来捕捉这些信息。
• 动态图学习。大多数现有的图神经网络（GNNs）方法严重依赖预定义的图结构，并且只强调消息传播，而不考虑时间序列数据的动态属性。因此，如何动态地学习多变量时间序列（MTS）的时空特征和图结构也是一个重要的问题
• 时间图池化。大多数用于多变量时间序列分类（MTSC）的深度学习方法直接在模型末端对大量维度进行池化，这被称为扁平池化，可能会导致信息丢失。一些图池化方法已经使用图神经网络（GNNs）来缓解这一问题，然而，它们没有考虑内部的时间特征。

为了解决上述问题，我们提出了一种新颖的多变量时间序列分类模型，称为Temporal Dynamic Graph Neural Network（TodyNet）。为了挖掘隐藏的依赖关系，我们提出了一个新的端到端框架，通过图构建和学习、时间卷积以及动态图神经网络，分别发现变量之间的依赖关系、变量内部的特征，以及变量的时空依赖关系。对于动态图学习，内部图结构可以通过梯度下降学习，我们设计了一个图转换机制来传播多变量时间序列的动态属性。对于时间图池化，提出了一种分层的时间池化方法，以避免扁平化并实现高性能。总的来说，我们工作的主要贡献如下：

• 开创性。据我们所知，这是基于时间动态图进行多变量时间序列分类的第一项研究。
• 新的联合框架。提出了一种端到端的框架，用于共同学习动态图、图传播和时间卷积，以解决多变量时间序列分类问题。
• 动态图机制。提出了一种动态图处理机制，用于捕捉不同变量之间以及相邻时间段之间的隐藏动态依赖关系，并增强图学习的有效性。
• 时间图池化。提出了一种全新的时间图池化方法，以避免池化方法的扁平化，并与时间特征提取同时结合。
• 效果显著。实验结果表明，我们的方法显著提高了主流深度学习分类器的性能，并优于当前最先进的方法。

2. Related work

A. Multivariate Time Series Classification

多变量时间序列分类问题旨在利用具有多变量特征的时间序列数据准确预测若干特定类别。一般来说，基于距离的方法、基于特征的方法和基于深度学习的方法是解决多变量时间序列分类任务的三种主要类型的方法。多通道深度卷积神经网络（MCDCNN）通过1D卷积捕获变量内的特征，然后将它们与全连接层结合，这是将CNN应用于多变量时间序列的先驱方法。在此启发下，许多有效的网络架构开始涌现。时间序列注意力原型网络（TapNet）通过随机组排列方法学习低维特征，并构建了一个注意力原型网络来解决有限训练标签的问题。目前，OS-CNN 是最新的模型，通过设计Omni-Scale块以覆盖不同数据集上最佳的感受野大小，实现了最先进的性能。然而，基于深度学习的模型存在明显的局限性。它们假设不同变量之间的依赖关系相同，导致无法有效表示变量之间的成对关系。在这种情况下，图是建模多变量时间序列的最适当的数据结构。

B. Graph Neural Networks

自图神经网络（GNNs）的概念被引入以来，图信息处理领域已经出现了爆炸性的发展。GNNs遵循一种本地聚合机制，即每个节点的嵌入向量可以通过递归地聚合和转换其邻居的信息来计算。近年来，提出了各种各样的GNNs变体。例如，图卷积网络（GCN）是一项代表性工作，通过寻找对应的傅立叶基来将卷积扩展到谱域。GraphSAGE和图注意力网络（GAT）也是将典型卷积推广到空间邻居的典型方法。为了同时满足数据的空间和时间维度的需求，一个新的GNNs家族诞生了，即空间-时间GNNs，它可以学习沿时间轨迹的图结构。例如，一种名为STFGN的新模型，用于融合新生成的图和给定的空间图，以捕获隐藏的空间依赖关系并学习空间-时间特征。遗憾的是，很难为MTSC任务找到预定义的图结构。此外，目前大多数空间-时间GNNs都是为交通预测而设计的，对于需要填补的MTSC任务存在差距。

3. PRELIMINARIES

A. Problem Formulation

一个多变量时间序列（MTS）X = {x1, x2, ..., xd} ∈ Rd×l 表示在时间序列中维度为d ∈ ℕ* 的多变量变量的值，其中xi = {xi1, xi2, ..., xil}，i = 1, 2, .., d，其中l ∈ ℕ* 表示多变量时间序列的长度。给定一组多变量时间序列 χ = {X1,X2, ...,Xm} ∈ Rm×d×l 和相应的标签 η = {y1, y2, ..., ym}，其中y是每个多变量时间序列的预定义类标签，m ∈ ℕ* 是时间序列的数量。MTSC 任务旨在通过从 χ 到 η 训练分类器 f(·) 来预测未标记的多变量时间序列。

B. Graph Notations and Definition

Graph-related Concepts。图通常描述网络中实体之间的关系。在多变量时间序列分类的任务中，我们给予以下时间图相关概念的形式定义。

Definition 1 (Temporal Graph)。时间图是由多元时间序列构建的。时间图以G = (V, E)的形式给出，其中V = {v1, ..., vn}是节点的集合，n是节点数量，而E是边的集合。节点表示变量，边表示不同变量之间的关系，这些关系可以是相似性或一些结构学习结果。

Static and Dynamic Graph。静态图和动态图由图构建的时间依赖性来定义。每个多元时间序列 X 被一些等时间间隔的时间段 T = {T1, T2, ..., TS} 平均分割，按时间顺序排列，其中 S ∈ N∗ 是时间段的数量。通常，每个时间段由 Ti = {t1+(i−1)s, ..., tis} 表示，其中 i = 1, ..., s，|Ti| = s > 0。给定一组具有相同节点但在每个时间段上具有不同边的时间图 GT = {V, ET}，其中 GT = {GT1，GT2，..., GTS}，ET = {ET1，ET2，..., ETS}。

Definition 2 (Static Graph)。静态图是每个多元时间序列的一个临时图，其中 S = 1，即每个多元时间序列不存在分割，s 等于整个时间序列的长度。集合的大小为 |GT| = |ET| = 1。

Definition 3 (Dynamic Graph)。动态图是每个多元时间序列的一组临时图，其中 S > 1，即在不同时间槽中，时间图的边具有动态变化。集合的大小为 |GT| = |ET| > 1。

边的动态变化意味着在不同的时间槽中，边的权重和顶点的连接关系发生变化，而每个多元时间序列的顶点保持静态不变。

4. PROPOSED MODEL

A. Model Architecture Overview

首先简要介绍我们提出的深度学习模型TodyNet的一般框架。如图所示，TodyNet由以下核心模块组成。为了建立不同维度之间的初始关系，图构建和学习模块生成一组图邻接矩阵，分别对应不同的时间槽。图邻接矩阵的元素可以通过迭代过程学习得到。k个动态图神经网络模块由动态图转换和动态图同构网络组成。动态图转换利用不同时间图之间的动态关联，其结果隐含在新的邻接矩阵中。动态图同构网络通过k个时间卷积模块处理时间序列数据，捕获多元时间序列的时空依赖关系。

为避免平坦池化问题，时态图池化模块设计了一种可学习的时态卷积参数的可微分且分层的图池化方法。为获得最终的分类结果，输出模块使用平均池化和全连接层获取每个类别的数值。我们的模型将在以下子节中详细介绍。

B. Construction and Learning of Temporal Dynamic Graph

由于通用时间序列数据没有预定义的图结构，我们将从展示一个通用的图构建模块开始，该模块生成邻接矩阵以创建维度之间的初始关联。此外，变量之间的隐藏依赖关系由图邻接矩阵表示，并通过训练迭代进行优化。为了简单起见，我们不通过时间序列数据建立这种关系，而是通过“浅层”嵌入来编码邻接矩阵。每个节点分配两个值，分别表示源节点和目标节点。因此，我们为每个时间槽 t 生成两个长度为 d 的向量 Θ 和 Ψ，并且所有元素都是可学习参数，随机初始化。然后，我们计算 ΘT 和 Ψ 的乘积，其结果将被视为该时间槽的初始邻接矩阵。邻接矩阵的值可以通过训练进行优化。图构建如下所示：

其中，Θ = [θt,1, θt,2, ..., θt,d] 和 Ψ = [ψt,1, ψt,2, ..., ψt,d] 表示可学习节点嵌入的随机初始化，argtopk(·) 返回邻接矩阵 A 中前 k 个最大值的索引。邻接矩阵由方程 2-3 稀疏化，从而降低计算成本。对于每个时间槽的邻接矩阵，我们只保留具有前 k 个最大权重的元素，并将其他值设置为零。

C. Dynamic Graph Neural Network

我们旨在探索不同时间序列维度之间的空间关系，并在图中表示它们的特征交互。动态图神经网络模块专注于节点之间的信息传递和特征聚合。尽管一些图神经网络模型能够传播邻居节点的信息，但现有方法只能处理静态图。在本文中，我们提出了一种基于改进的图同构网络（GIN）的动态图消息传播模型。

Dynamic graph transform。我们设计了一种对动态图集合进行变换的方法，建立了不同图之间的关联。这些时间槽背后的基本假设是，后续时间槽的数据是由之前时间槽的数据转换而来的。为了离散化，我们尝试为每个图构建与前一个时间槽对应的图的连接。动态图变换（DGT）的结构如图2所示。

对于每个时间槽的图，除了第一个图之外，将添加相同数量的顶点，这些顶点分别描述了前一个时间槽图的相应顶点的数据。因此，顶点集将被修改为{v(t,1), v(t,2), ..., v(t,N), v(t−1,1), v(t−1,2), ..., v(t−1,N)}。我们为先前时间的顶点和当前时间的对应顶点分配方向（即有向边），这意味着为 n = 1, 2, ...,N 的情况下，从 v(t−1,n) 到 v(t,n) 添加连接。然后，最新生成的图集可以传递到下一步。

实际上，在实际实现中，没有必要将顶点的数量加倍。对于新的有向边，我们可以直接将源节点嵌入聚合到目标节点嵌入，然后删除新的顶点。

Dynamic Graph Isomorphism Network (DyGIN)。同构网络（GIN）是功能强大的GNN之一，它可以区分其他流行的GNN变体无法区分的不同图结构。受GIN的启发，我们设计了一种新的方法来聚合信息，该方法由通过并行性的动态范例组成，如等式5所示。与静态GNN相比，动态GNN在DGT之后完全分离相同维度中的不同时隙数据。实际上，在不同时隙的相同顶点通常将聚合来自不同顶点集合的信息。DyGIN可以定义为：

其中，h(l, t)_v 表示在第 l 层中在时间槽 t 中节点 v 的 GIN 输出，h(l−1, t−1)_v 是 DGT 的简单实现，适用于 t > 2（第二个及后续图）。边权重 ω_ij 被归一化为 ¯ω_ij。我们可以将 ε 视为可学习参数。

我们还提供了邻接矩阵的形式：

其中，Hl−1 表示第 l 层 GIN 层的输出张量，Hl−1[t1 : tT−1] 是从第二个时间槽数据对齐的，A˜ 经过 D−1/2 AD1/2 归一化，而 D 是 A 的度矩阵。

D. Temporal Graph Pooling

通常，池化是在分类器生成新特征之后的必要步骤。然而，一些通用的池化方法，如最大池化、平均池化和总和池化，将一个特征向量甚至矩阵聚合成少数几个特征，这是平面的，可能会丢失大量信息。据我们所知，在时间序列分析中还没有解决这个问题的方法。在本节中，我们提出了一种新的时序图池化（TGP）方法，结合了图池化和时间过程，可以缓解这个问题。

时态图池通过分层池化方法提供了一种解决方案。其核心思想是学会将节点分配到簇中，从而控制减少节点的数量。我们在每个GNN层之后分层应用它，如图所示。

Pooling with convolution parameters。设计了一个二维卷积神经网络（CNN）层，根据给定的池化比率将节点聚集成簇，节点被视为在CNN中提取特征的通道。为了不破坏感受野的窗口，将时间卷积的核大小分配给了这个卷积核大小。Xl代表第l层的输入节点嵌入张量，计算输出嵌入张量Xl+1的CNN可以表示为：

这里的星号是有效的二维交叉相关运算符，N表示池化模块中的节点数，注意Nl等于第l层的输入节点数，Nl+1等于第l层的输出节点数。

生成输出张量Xl+1后，我们考虑计算相应的邻接矩阵的方法。有一个观察结果是可学习权重Wl的形状是[Nl+1, Nl, 1, kernel size]，然后生成由第l层的可学习参数组成的向量Vl ∈ R1×k。可以得到一个可学习的分配矩阵Ml = Wl · Vl ∈ RNl+1×Nl，其中行对应于Nl+1个节点或聚类，列对应于Nl个聚类。给定矩阵M和此层输入数据的邻接矩阵A(l)，使用以下方程式生成输出邻接矩阵A(l+1)。

方程7-8提供了Temporal Graph Pooling（TGP）的总体步骤。在方程7中，Xl+1表示聚合输入嵌入后的输出聚类嵌入。在方程8中，A(l+1)表示新聚类的连接关系和相应的权重。此外，每个元素A(l+1)ij表示i和j之间的连接权重。因此，TGP在训练过程中实现了具有时间信息的分层和可微分的图池化，同时优化了聚类聚合方法。

E. Temporal Convolution

时间卷积（TC）模块专注于捕获每个维度内的时间依赖关系。与其他深度学习方法相比，为了突出图学习模块的优势，在这个模块中没有复杂的处理。为简化起见，使用了具有不同卷积核的3个卷积神经网络层，既不使用扩张，也不使用残差连接。然而，为了扩展时间序列的长度，应用了填充，使得时间卷积的输出长度与输入数据相等。时间特征提取的输出张量将根据相应的时间槽进行划分后传输到GNN模块。

5. EXPERIMENTAL STUDIES

消融实验是指在科学研究中，通过逐步剔除模型中的某些组件或特性，以评估它们对模型整体性能的影响的一种实验方法。这种实验方法旨在揭示模型的关键组成部分或特征，以及它们对模型性能的贡献程度。通常，消融实验可以帮助研究人员理解模型的工作原理，并进一步改进模型的设计。

A. Experimental setting

Dataset。UEA多元时间序列分类收集了不同的实际应用，涵盖了各个领域。我们排除了UEA多元时间序列分类档案中长度不等或缺失值的数据集，以确保实验的合理性。因此，我们使用了30个数据集中的所有26个等长数据集，大多数实现都是其他研究中的类似设置。基准数据集的详细统计如下：UEA多元时间序列分类库由真实世界的多元时间序列数据组成，我们在每个维度的时间序列中选择了26个等长的数据作为数据集。数据集的长度范围为8到17，984，维度值的范围为2到1345。每个数据集的详细信息见表I。

Baselines.为了验证TodyNet的性能，选择了当前最先进或最流行的方法作为基准进行比较。多变量时间序列分类的基准方法总结如下：

(1) OS-CNN and MOS-CNN：一维卷积神经网络覆盖了所有尺度的感受野，这是最新和最优秀的基于深度学习的方法，取得了时间序列分类的最高准确性。

(2) ShapeNet：最新的shapelet分类器，将具有不同长度的shapelet候选项嵌入到统一空间中。

(3) TapNet：一种结合了传统学习和深度学习优点的新模型，它设计了一个包含LSTM层、堆叠CNN层和注意力原型网络的框架。

(4) WEASEL+MUSE：构建多元特征向量的最有效的bag-of-pattern算法。

(5) WLSTM-FCN:一个著名的深度学习框架通过用挤压和激励块增强LSTM-FCN来获得表示。

(6) ED-1NN:基于欧氏距离和最近邻分类器的最流行的基线之一。

(7) DTW-1NN-I：最常用的基线之一，通过最近邻分类器的动态时间规整独立处理每个维度。

(8) DTW-1NN-D：同时处理所有维度的另一个类似基线。

Implementation details.在我们的模型中，MTS的动态图的数量为4，top-k的k值设置为3，合并比率为0.2。时间卷积有3层，卷积核大小为11，3，3。时间卷积的通道大小为64，128，256。批量大小设置为16，学习率设置为10−4。由于每个数据集的维度和长度存在很大差异，我们为一些数据集调整了内核大小。所有实验都在Python 3.9.12中的Pytorch 1.11.0上实现，并使用2，000个epoch进行训练（计算基础设施：Ubuntu 18.04操作系统，GPU NVIDIA GA 102 GL RTX A6000，48 Gb GPU）。

Evaluation metrics.

我们通过计算准确性、平均准确性以及Wins/Draws/Losses的数量来评估多个分类器在多个测试数据集上的性能。此外，我们还构建了一种基于临界差异图的改进版本 ，用Wilcoxon符号秩检验替代事后Nemenyi检验，并使用推荐的Holm校正形成的团。

B. Hyperparameter Stability

我们对UEA基准测试中随机选择的12个数据集进行了实验，通过改变动态图数量nG、池化比率η和学习率lr来评估TodyNet的超参数稳定性。值得注意的是，动态图的数量对应于时间序列的切片数量。在本节的实验中，选择了AWR、AF、BM、CR、ER、FM、HMD、HB、NATO、SRS1、SRS2和SWJ这些数据集。在图4中，标准箱线图显示了所有数据集的平均分类准确率随着nG：{2、4、6、8、10、12、14、16}、η：{0.5、0.1、0.15、0.2、0.25、0.3、0.5}和lr：{10^(-1)、10^(-2)、10^(-3)、10^(-4)、10^(-5)}参数变化的情况。图中的蓝色曲线表示了TodyNet在所选12个数据集上的平均准确率随参数变化的情况。

总体而言，模型的性能保持在较高水平。显然，由于采用了粗粒度的方法，使得具有较大长度差异的数据集被分割成相同数量的时间段，因此平均准确率可能会随着nG的增加而略微波动。然而，就整体性能而言，TodyNet提取的隐式依赖关系对于时间序列分类任务非常有效。显然，随着η的变化，模型的性能首先增长，然后以不同程度下降，这是因为如果在我们的池化方法的一个层次上减少了太多或者太少的节点，池化结构将会变得平坦。

此外，结果表明，合适的学习率值有助于获得更高的分类准确率。因此，我们针对不同的数据集设置适当的参数，以达到模型的最佳性能。

C. Classification Performance Evaluation

了验证TodyNet的性能，我们将其与表II中所有基准数据集的基线进行了比较，主要结果见表II。基线的具体精度均参考原始论文。标有“N/A”的结果表示由于内存或计算限制，相应的方法无法获得结果。最佳和次佳结果分别以粗体和下划线突出显示。

表 II 表明 TodyNet 在 13 个数据集上实现了最高的分类准确率。就平均准确率而言，TodyNet 表现出了最佳的性能和稳定性，为 0.726，相对于最先进的基线方法。对于 1 对 1 的获胜/平局/失败比较，TodyNet 的表现要比所有基线方法都好得多。特别是，与最先进的方法相比，TodyNet 的动态图机制在某些数据集上有显著的改进，例如 FD、FM、HMD 等。令人振奋的是，这些数据集属于“EEG”类型，是从脑磁图 (MEG) 记录下来的，并包含人类行为的标签。很容易看出，不同位置之间的脑信号之间的隐含依赖共同决定了人类行为，而 TodyNet 能够很好地捕捉到这种时空特征，并展现出巨大的潜力。同时，这也表明时间序列的动态特性对分类结果也有积极的影响。

另一方面，我们还进行了威尔科克森符号秩检验来评估所有方法的性能。图 5 显示了临界差异图，其中 α = 0.05，根据表 II 中的结果绘制。图 5 中的数值也反映了分类器的平均性能等级。TodyNet 实现了最佳的总体平均排名为 3.2692，低于现有最先进的基于深度学习的方法，如 MOS-CNN、WEASEL+MUSE 和 TapNet 的排名。此外，TodyNet 明显优于其他分类器，例如 ShapeNet、MLSTM-FCN 和 DTW。这是因为提取隐藏的动态依赖关系可以显著提高分类性能。

D. Ablation Study。为了验证有助于改善TodyNet结局的关键组件的有效性，我们对26个UEA多变量时间序列存档进行了消融研究。我们将没有不同组件的TodyNet表示为：

• w/o Graph:没有时态图和图神经网络的TodyNet。我们将时间卷积的输出直接传递到输出层。
• w/o DyGraph:TodyNet没有时间动态图。该方法只构造一个静态图作为图神经网络的输入，不对时间序列进行切片。
• w/o GPool：TodyNet没有时间图池化。我们直接连接图神经网络的输出，并将其传递给输出模块。

散点图如图6所示，展示了减少TodyNet不同组件的实验比较结果。图6的水平和垂直坐标表示分类准确度，落在浅青绿色区域的点表示ToyNet在相应数据集上更准确。

从图 6 的结果可以得出一个结论，即图信息显著提高了基于卷积的分类器的结果，这依赖于 TodyNet 出色的能力，能够捕捉变量之间的隐藏依赖关系和不同时间段之间的动态关联。我们还可以观察到，引入动态图机制可以获得比静态图更好的模型性能，因为它使得信息能够在孤立但相互依赖的时间段之间流动。此外，时间图池化的效果也是显而易见的：它验证了时间图池化有助于以分层方式聚合中心数据，从而极大地提高了图神经网络的性能。总之，所有消融实验的结果表明，TodyNet 提出的组件对多变量时间序列分类任务确实是有效的。

E. Inspection of Class Prototype

在这个实验中，我们通过可视化类原型及其相应的时间序列嵌入来展示我们训练有素的时间序列嵌入的有效性。开始，我们用热图分析TodyNet在各个时期学习的表示。SWJ是UEA档案的数据集，记录了来自进行3种不同身体活动的健康男性的4对电极的短持续时间ECG信号：站立，行走和单跳。我们从SWJ的15个测试样本中随机选择了3个单独对应于一个类别的样本进行热图可视化。在图7中，每行子图分别显示了所有传感器的原始信号和从相应类别下的每个样本学习的嵌入。研究结果表明，不同类别的学习者在嵌入上存在显著差异。因此，一个明显的结论是，TodyNet可以通过学习有效的表示来清楚地区分时间序列的不同样本的类别。

为了进一步证明TodyNet表示时间序列的能力，我们使用t-SNE算法将表示嵌入到二维图像的形式中以进行可视化。图8显示了HB、HMD和NATO测试数据集的结果。为方便起见，所有类别标签均由阿拉伯数字统一。如图8所示，每行表示不同的数据集，每列分别表示原始数据和TodyNet学习的嵌入的可视化。很明显，来自同一类的不同样本之间的距离更近，这意味着TodyNet可以有效地表征类原型，并对不同数据进行高度准确的分类。

6. CONCLUSION

在这篇论文中，提出了一种名为“时序动态图神经网络”的新型框架。据我们所知，这是第一个基于动态图的深度学习方法，用于解决多变量时间序列分类问题。我们提出了一种有效的方法，用于提取多个时间序列之间的隐含依赖关系和不同时间槽之间的时序动态特征。同时，设计了一种新颖的时序图池化方法，以解决图神经网络的平坦性问题。与UEA基准上的其他最先进方法相比，我们的方法表现出色。对于未来的研究方向，有两种可能的途径。一方面，通过移植其他时序卷积方法，可能实现更好的分类性能。另一方面，减少时序图池化的复杂性可能进一步提高模型的效率。

本篇文章作者提供的开源地址：https://github.com/liuxz1011/TodyNet