Graph-Aware Contrasting for Multivariate Time-Series Classification

系列文章目录

多元时间序列分类的图形感知对比 AAAI2024

---

---

摘要

对比学习作为一种自我监督学习范式，在多元时间序列（MTS）分类中变得流行。 它确保未标记样本的不同视图之间的一致性，然后学习这些样本的有效表示。 现有的对比学习方法主要侧重于通过时间增强和对比技术实现时间一致性，旨在保留 MTS 数据的时间模式免受扰动。 然而，他们忽视了空间一致性，这需要单个传感器及其相关性的稳定性。 由于 MTS 数据通常源自多个传感器，因此确保空间一致性对于 MTS 数据对比学习的整体性能至关重要。 因此，我们提出图感知对比来实现 MTS 数据的空间一致性。 具体来说，我们提出图增强，包括节点和边缘增强，以保持传感器及其相关性的稳定性，然后通过节点和图级对比进行图对比，以提取鲁棒的传感器级和全局级特征。 我们进一步引入多窗口时间对比，以确保每个传感器数据的时间一致性。 大量实验表明，我们提出的方法在各种 MTS 分类任务上实现了最先进的性能。 代码可在 https://github.com/Frank-Wang-oss/TS-GAC 获取。

---

一、引言

多元时间序列（MTS）数据广泛应用于医疗保健和工业制造等领域的分类任务，吸引了人们的广泛研究兴趣。 为了提高 MTS 分类的性能，深度学习因学习有效表示而受到欢迎（Craik, He, and Contreras-Vidal 2019；Chen et al. 2021；Deng and Hooi 2021；Chen et al. 2020c；Zhao et al. 2019） ）。 然而，对大量标记样本的需求带来了挑战，因为大规模手动标记是不切实际的，限制了它们在现实场景中的适用性。 为了应对这一挑战，对比学习（CL）已成为一种有前途的方法（Zhang et al. 2023a；Eldele et al. 2023）。 通过对比通常由增强生成的未标记样本的不同视图，CL 增强了编码器对扰动的鲁棒性，并学习鲁棒且有效的表示。

研究人员最近开始探索 MTS 数据的 CL（Eldele 等人，2021 年；Tonekaboni、Eytan 和 Goldenberg，2021 年），主要关注通过稳健地保留时间模式免受扰动来实现时间一致性。 具体来说，诸如抖动或排列之类的时间增强通常用于为 MTS 数据创建不同的视图。 然后使用编码器来提取时间特征，在此基础上执行 CL 以使编码器对时间干扰具有鲁棒性，从而保留 MTS 数据内的时间模式。 为了进一步增强时间一致性，在用过去的信息预测未来时间戳时，通常通过预测对比损失来实现时间对比（Choi and Kang 2023；Eldele et al. 2021）。

虽然目前的方法在 MTS 数据的 CL 方面取得了进展，但在 CL 过程中主要关注时间一致性，而忽略了空间一致性。 这里，空间一致性是指保持各个传感器的稳定性以及不同传感器之间的相关性。 具体来说，MTS 数据的鲁棒性取决于每个传感器的稳定性，即传感器中的任何干扰都可能对 MTS 样本的分类性能产生重大影响。 我们以图1为例进行说明。 足部信号中的幅度干扰（例如不敏感）可能会导致步行和跑步动作中的足部幅度相似，从而可能导致分类器将跑步错误分类为步行。 因此，强大的算法应该能够识别各个传感器内的干扰。 此外，传感器之间存在相关性，某些传感器彼此之间的相关性比其他传感器之间的相关性更强。 例如，由于脚和膝盖之间的物理连接，脚传感器与膝盖传感器的相关性比手传感器更相关。 保持这些相对传感器关系的稳健性可以进一步帮助学习稳健的传感器特征（Yu、Yin 和 Zhu，2017 年；Jia 等人，2020 年）。 由于 MTS 数据通常源自多个传感器，因此确保空间一致性对于增强 MTS 数据的整体 CL 性能至关重要。

上述讨论促使我们提出一种称为 MTS 数据图感知对比（TSGAC）的新方法。 为了实现空间一致性，设计了针对 MTS 数据定制的特定增强和对比方法。 我们首先设计图增强，包括节点和边增强，以增强 MTS 数据。 对于节点增强，我们应用时间和频率增强（Zhang et al. 2022；Yang and Hong 2022）来完全增强每个传感器，而边缘增强旨在增强传感器相关性，确保传感器之间关系的稳健性。 通过捕获增强的传感器相关性，利用图神经网络（GNN）（Wang et al. 2023；Jia et al. 2020）来更新传感器特征。

图 1：步行和跑步时膝盖和脚发出的信号。 由于脚的振幅较大，因此对于分类更为重要。 (a) 行走时，膝盖和脚部都有较低的频率和幅度。 (b) 在跑步期间，两个传感器都显示出增加的频率和幅度。 足部传感器中的干扰（例如不敏感）可能会导致跑步信号与步行信号具有相似的幅度，这可能会误导分类器并将跑步错误地分类为步行。

通过更新的传感器功能，我们然后设计图形对比，其中结合了节点级和图形级对比，以学习强大的传感器级和全局级特征。 对于节点级对比，我们使用建议的增强创建两个视图，并对比每个 MTS 样本中不同视图中的传感器，以确保每个传感器对抗扰动的鲁棒性。 此外，我们将传感器特征映射到全局特征，并通过对比每个训练批次中不同视图中的 MTS 样本来引入图形级对比。 此外，我们通过遵循先前的工作（Choi and Kang 2023；Eldele et al. 2021）进行时间对比，实现了每个传感器的时间一致性。 由于 MTS 数据中传感器相关性的动态性质（Wang et al. 2023），我们建议将样本分割为多个窗口，使我们能够合并多窗口时间对比，从而确保每个传感器内时间模式的一致性。

总的来说，我们的贡献有三方面。 首先，为了促进空间一致性，我们提出了新颖的图增强来提高 MTS 数据增强视图的质量。 图增强涉及节点和边缘增强，旨在分别增强传感器及其相关性。 其次，我们设计了图形对比，包括节点级和图形级对比，促进鲁棒传感器级和全局级特征的学习。 我们还引入了多窗口时间对比，以实现每个传感器的时间一致性。 第三，我们对十个公共 MTS 数据集进行了广泛的实验，表明我们的 TS-GAC 实现了最先进的性能。

Related Work

对比学习（CL）作为一种自监督学习范式，CL 因其能够通过使正对更接近、同时将负对推得更远来从未标记样本中学习有效特征而受到欢迎（Zhang 等人，2023a；Eldele 等人，2023） ）。 增强通常用于创建正对，从不同角度生成增强样本。 另一方面，负对是使用同一批次中的剩余样本创建的（Chen et al. 2020a）或存储在内存库中（He et al. 2020）。 对比这些正负对有助于编码器对扰动变得鲁棒，确保学习特征的一致性，从而从未标记的数据中学习鲁棒且有效的特征。

研究人员已经证明了 CL 在图像任务中的有效性（Hjelm et al. 2018；He et al. 2020；Caron et al. 2020；Chen et al. 2020a）。 MoCo（He et al. 2020）设计了一种动量编码器，带有存储体来存储负样本，以有限的计算资源实现理想的性能。 SimCLR（Chen et al. 2020a）采用了更大批量的负对，并取得了与监督学习相当的结果。 受 SimCLR 的启发，MoCo-v2（Chen 等人，2020b）通过强大的增强功能提高了性能，而无需大批量。 此外，负对可能会占用计算资源，因此 BYOL (Grill et al. 2020) 和 SimSiam (Chen and He 2021) 只学习正对的表示。 尽管这些方法已经取得了不错的性能，但它们是针对图像提出的。 与图像不同，MTS 数据包含来自多个传感器的时间和空间信息，使得传统的基于图像的增强和对比方法不适合 MTS 数据。

MTS 数据的 CL 开创性工作已成功利用 CL 技术从未标记的 MTS 数据中学习适当的表示，主要侧重于实现时间一致性（P¡oppelbaum、Chadha 和 Schwung 2022；Khaertdinov、Ghaleb 和 Asteriadis 2021；Hao 等人 2023） 岳等人，2022； 具体来说，他们通过抖动、裁剪和子序列等时间增强来增强 MTS 数据，然后进行 CL 以确保编码器对时间干扰的鲁棒性。 同时，一些作品（Choi and Kang 2023；Eldele et al. 2021）还通过总结过去的信息以与未来的时间戳进行对比来引入时间对比，进一步增强对时间戳内扰动的鲁棒性。

虽然这些通过确保时间一致性来改进 MTS 数据的 CL，但它们忽略了 MTS 数据的空间一致性。 最近的一些工作提出将空间信息（例如传感器相关性）纳入 CL 框架中。 例如，TAGCN（Zhang et al. 2023d）利用GNN从MTS数据的子系列中提取特征，然后进行CL。 此外，TSGCC（Zhang et al. 2023b）设计了一种基于图的方法来计算样本之间的权重，以便通过实例和聚类对比进行聚类。 然而，这些方法仅利用 GNN 来提取 MTS 数据中的空间信息，而仍然忽略了空间一致性以实现更好的 MTS 数据 CL。 尽管最近的一些研究（Chen 等人，2022 年；Li 等人，2022 年）探索了通道级信号增强，但图形级增强​​和对比仍然没有得到充分探索，限制了它们实现 MTS 数据稳健的空间一致性的能力。

为了克服这些限制，我们提出了 TS-GAC，它结合了图增强和图对比技术，以确保 MTS 分类的 CL 过程中的空间一致性。

Methodology

Problem Formulation

给定一个包含 n 个未标记 MTS 样本的数据集 X = { X j } j = 1 n \{X_j\}_{j=1}^n {Xj​}j=1n​，每个样本 $X_j\in {\mathbb{R}}^{N\times L}$是从具有 T 个时间戳的 N 个传感器收集的。 我们的目标是执行对比学习方案，该方案可以实现 MTS 数据的空间一致性，从而能够在不依赖标签的情况下训练编码器 F。 这种方法使我们能够实现增强的 CL 性能，从而提取有效的表示$h_j=\mathcal{F}(X_j)\in {\mathbb{R}}^d$。 对于 $h_j$，我们采用一个简单的分类器（例如多层感知器）来获得类概率$y_j\in {\mathbb{R}}^c$，其中 c 表示分类任务中的类数。 为了简单起见，去掉下标j，我们将MTS样本表示为X。

Overall Structure

图2显示了TS-GAC的整体结构，其目的是实现MTS分类的CL空间一致性。 特定的增强和对比技术是针对 MTS 数据量身定制的。 对于增强，我们考虑节点和边缘增强来增强单个传感器及其相关性，为每个样本生成弱视图和强视图。 首先应用节点频率增强，然后考虑 MTS 数据中的动态局部模式，将增强样本分割到多个窗口中。 每个窗口内都使用节点时间增强，然后使用一维卷积神经网络 (1D-CNN) 来处理这些窗口。 随后，以每个传感器作为节点、传感器相关性作为边构建图表。 构建的图通过边缘增强进一步增强，然后由基于 GNN 的编码器进行处理以学习表示。 接下来，为了实现空间一致性，我们设计了图对比，包括节点级对比（NC）和图级对比（GC）。 NC 允许对比每个样本中的传感器，以学习鲁棒的传感器级特征，而 GC 允许对比每个训练批次中的样本，从而促进鲁棒全局级特征的学习。 我们进一步引入多窗口时间对比（MWTC），通过利用一个视图中的过去窗口来预测另一视图中的未来窗口，以确保每个传感器的时间一致性。

Augmentation

CL 通过对比未标记数据的不同视图来学习稳健的表示，这些数据通常是由增强生成的。 然后，来自相同数据的增强视图被拉近，来自不同数据的视图同时被推得更远，以进行表示学习。 因此，增强对于 CL 学习稳健且可泛化的表示至关重要。 为了提高 MTS 数据的增强质量，我们考虑其多源性质，
即从多个传感器收集（Zhao et al. 2019）。 我们认为 MTS 数据的增强应该能够确保学习鲁棒的传感器特征和传感器相关性。 为此，我们设计了节点和边缘增强，分别增强单个传感器及其相关性。 此外，根据（Eldele et al. 2021），我们为每个样本生成弱视图和强视图，即弱增强和强增强，并进行后续对比的增强。

Node Augmentations

我们对节点（即传感器）执行频率和时间增强。
频率增强：我们利用频率增强来增强单个传感器，因为频率增强被广泛认为在增强时间序列数据方面是有效的（Zhang et al. 2022, 2023c）。 这涉及将每个传感器的信号转换到频域并增强提取的频率特征。 然后将增强的频率特征变换回时域以获得增强的信号。

特别是，我们采用离散小波变换（DWT）（Boggess 等人，2002）使用高通和低通滤波器将信号分解为细节和近似系数，分别表示信号内的详细和总体趋势。 为了生成弱视图和强视图，我们分别向细节系数和近似系数添加高斯噪声。 然后使用逆 DWT (iDWT) 将增强的频率特征变换回时域以获得增强的信号。 从数学上讲，频率增强是通过等式实现的。 (1)，其中${\eta }_{A,i}\mathrm{and}{\eta }_{D,i}$表示第 i 个传感器的近似系数和细节系数， $x_i$ 表示添加到系数中的噪声。 我们将 { X w , X s } \{X^{w},X^{s}\} {Xw,Xs} 表示为弱视图和强视图中的增强信号。

时间增强：由于每个传感器在增强时间序列数据方面的重要性，我们进一步引入时间增强来增强每个传感器（Pöppelbaum、Chadha 和 Schwung 2022；Khaertdinov、Ghaleb 和 Asteriadis 2021）。 在时间增强之前，我们注意到 MTS 数据显示出动态属性，即 MTS 数据的局部模式是动态变化的（Wang 等人，2023）。 为了捕获这些属性，我们将每个 MTS 样本分割成迷你窗口。 如图 3 所示，给定长度为 f 的窗口，我们将 MTS 样本分割为$\bar{L}=[L/f]$窗口，其中 [ ] 表示截断。 因此，对于弱视图，我们得到 X w = { X ˉ t w } t = 1 L ˉ X^{w} = \{\bar{X}_{t}^{w}\}_{t=1}^{\bar{L}} Xw={Xˉtw​}t=1Lˉ​，其中 t 是窗口的索引，并且 X ˉ t w = { x ˉ t , i w } i = 1 N ∈ R N × f \bar{X}_{t}^{w} = \{\bar{x}_{t,i}^{w}\}_{i=1}^{N} \in \mathbb{R}^{N\times f} Xˉtw​={xˉt,iw​}i=1N​∈RN×f 包含局部模式，包括局部传感器特征和相关性。 以同样的方式得到强视图中的窗口 { X ˉ t s } t = 1 L ˉ \{\bar{X}_t^s\}_{t=1}^{\bar{L}} {Xˉts​}t=1Lˉ​。 在这种情况下，如果我们在分割之前进行时间增强，则很难平均增强每个窗口，因此我们建议在分割后增强每个窗口。

由于其广泛的应用，我们采用排列进行时间增强（Eldele et al. 2021; Pöppelbaum, Chadha, and Schwung 2022）并增强每个窗口的每个传感器。 增强后，我们获得增强窗口，例如，弱视图中的 { X ˉ t a , w } t = 1 L ˉ \{\bar{X}_{t}^{a,w}\}_{t=1}^{\bar{L}} {Xˉta,w​}t=1Lˉ​，其中 ${\bar{X}}_t^{a,w}$ = { x ˉ t , i a , w } i = 1 N \{\bar{x}_{t,i}^{a,w}\}_{i=1}^N {xˉt,ia,w​}i=1N​。 然后，1D-CNN 被用作编码器来捕获窗口之间的时间信息（Jin 等人，2022），其详细信息附在我们的补充材料中。 通过编码器，我们学习更新的窗口，例如，弱视图的 { Z t w } t = 1 k \{Z_t^w\}_{t=1}^k {Ztw​}t=1k​=1，其中 Z t w = { z t , i w } i = 1 N Z_t^{w}=\{z_{t,i}^w\}_{i=1}^N Ztw​={zt,iw​}i=1N​。 类似的符号如 ${\bar{X}}_t^{a,s}\mathrm{and}{Z}_t^s$适用于强视图。

边缘增强传感器之间的相关性应保持稳健，因为它们对于学习传感器特征很重要（Jia 等人，2020 年；Zhang、Zhang 和 Tsung，2022 年）。 为了确保稳健的传感器关系，我们首先构建图，其节点和边分别代表传感器以及这些传感器之间的相关性。 扩大边缘使我们能够有效地扩大关系。 对于图构建，我们注意到相关传感器应该遵循相似的属性，并且它们的特征在特征空间中应该相似，因此我们利用特征相似性来定义传感器相关性。 给定特征 Z t = { z t , i } i = 1 N ∈ R N × f Z_{t}=\{z_{t,i}\}_{i=1}^{N} \in \mathbb{R}^{N\times f} Zt​={zt,i​}i=1N​∈RN×f，我们使用传感器 i 和 j 特征的点积计算传感器 i 和 j 之间的相关性，即$e_{t,ij}=z_{t,i}(z_{t,j}{)}^T$。 然后，使用softmax函数将相关性限制在[0,1]范围内。 基于两个视图的窗口构建多个图形。 对于弱视图，第 t 个窗口的图表示为${\mathcal{G}}_t^w=(Z_t^w,E_t^w)$，其中 E t w = { e t , i j w } i , j N E_{t}^{w} = \{e_{t,ij}^{w}\}_{i,j}^{N} Etw​={et,ijw​}i,jN​ 。 对于强视图也获得了类似的图${\mathcal{G}}_t^s$。

然后，我们引入边缘增强来增强传感器之间的相关性。 一种简单的方法是随机添加噪声、替换或删除某些边以进行图增强（You et al. 2020）。 然而，这种方法可能会引入过多的偏差并显着改变 MTS 数据内的拓扑结构。 请注意，GNN 根据传感器特征与其他传感器的相关性来更新传感器特征。 因此，强相关性可以确保更多的信息传播，使其比弱相关性更重要。 随机干扰这些强相关性可能会引入过度偏差。 为了解决这个问题，有必要添加边缘增强的约束。 因此，我们建议为每个传感器保留 s 个最强的相关性（即前 s 个相关性），并通过用 [0, 1] 范围内的随机值替换它们来增强剩余的相关性。 这种方法使我们能够充分增强传感器相关性，同时尽可能保留 MTS 数据中的拓扑信息。 具体来说，我们为弱视图中的图保留更多的强相关性，为强视图中的图保留更少的强相关性。 弱视图中第 t 个窗口的所得增强图表示为 ${\mathcal{G}}_t^{a,w}=(Z_t^w,E_t^{a,w})$，并且 $E_t^{a,w}$是增强的传感器相关性。 类似地，${\mathcal{G}}_t^{a,s}$ 表示强视图的增强图。

通过增强图，我们采用 GNN 通过利用增强相关性来更新传感器特征，就像传统工作一样（Jia 等人，2020 年；Wang 等人，2023 年）。 特别地，弱视图中传感器 i 的特征由非线性函数更新，即$z_{t,i}^w$=$\sigma ({\sum }_j^N{z}_{t,j}^w{e}_{t,ij}^{a,w}{W}_g)$，其中 Wg 是可学习权重。 然后将弱视图和强视图中更新的传感器特征 $z_{t,i}^w\mathrm{and}{z}_{t,i}^s$用于后续对比。

Contrasting

通过增强生成弱视图和强视图，我们设计对比图以实现空间一致性，并进一步设计 MWTC 以实现每个传感器的时间一致性。 我们首先在本节中介绍 MWTC，因为它学习多窗口中的高级传感器功能以进行后续的图形对比。

多窗口时间对比 MWTC 在传感器级别运行，确保每个传感器的时间一致性。 值得注意的是，每个传感器的多窗口显示出时间依赖性，其中未来的窗口通常受到影响并依赖于过去的窗口，可以将其合并以保持多窗口的鲁棒性。 受到预测编码（Oord、Li 和 Vinyals 2018）和时间对比（Choi 和 Kang 2023；Eldele 等人 2021）思想的启发，我们建议在一个视图中总结过去的窗口，以与另一个视图中的未来窗口进行对比 。 通过这样做，我们的目标是保持时间依赖性对窗口扰动的鲁棒性，从而能够保留 MTS 数据内的时间模式。

具体来说，我们引入一个自回归模型 fa 来总结过去$\bar{k}$个窗口中的传感器特征，即 $c_i^w$ = $f_a(z_{1,i}^w,...,z_{\bar{k}.i}^w|W_a)$，表示总结的向量 对于弱视图中的第 i 个传感器。$c_i^w$ 则预测未来的窗口，即${\bar{z}}_{\bar{k}+1,i}^w=f_{\bar{k}+1}(c_i^w),...,{\bar{z}}_{k,i}^w=f_k(c_i^w)$是非线性函数，$f_{\bar{k}+1}(\cdot ),...,f_k(\cdot )$用于预测第$(\bar{k}+1)$个、…、第 k 个窗口。 对于强视图也进行类似的操作。 在这里，我们采用 fa following 的变压器模型（Eldele et al. 2021），其详细信息附在我们的补充材料中。 方程式中的 ${\mathcal{L}}_{MWTC}^{s\to w}$ (2) 是使用强视图中的过去窗口来预测弱视图中的未来窗口的损失。 这里，预测窗口 ${\bar{z}}_{t,i}^s$ 应表现出与其正对 $z_{t,i}^w$相似，而与其负对$z_{v,i}^w,v\in {\hat{V}}_{t,i}$ 不相似，其中${\hat{\mathcal{V}}}_{t,i}$表示排除窗口的集合 传感器 i 的第 t 个窗口。

类似地，我们可以得到${\mathcal{L}}_{MWTC}^{w\to s}$，从而得到样品X的${\mathcal{L}}_{MWTC}={\mathcal{L}}_{MWTC}^{s\to w}+{\mathcal{L}}_{MWTC}^{w\to s}$。

图对比我们提出图对比来实现空间一致性，包括节点级对比（NC）和图级对比（GC）来学习鲁棒的传感器级和全局级特征。 NC 是通过对比每个 MTS 样本中不同视图中的传感器来实现的，而 GC 则是通过对比每个训练批次中的样本来实现的。 值得注意的是，我们利用向量 { c i } i = 1 N \{c_i\}_{i=1}^N {ci​}i=1N​进行图形对比，因为向量通过总结多窗口内的传感器级特征来表示高级特征。 通过利用高级特征，我们可以实现更有效的图形对比。

节点级对比：NC 旨在学习强大的传感器级功能。 具体来说，它的目标是最大化两个视图中相应传感器之间的相似性，同时最小化这些视图中不同传感器之间的相似性。 通过这样做，NC 鼓励编码器学习针对每个传感器的扰动的特征。 等式。 (3) 表示节点级对比损失，其中 ${\hat{\nu }}_i$ 表示不包括传感器 i 的传感器集。 可视化流程如图2的NC所示。

这里 fsim(a, b) 是衡量样本相似度的函数，实现为点积 aTb，τ 是温度参数。 ${\mathcal{L}}_{NC}^{s\to w}$表示强视图中的传感器与弱视图中的正负对进行对比。 类似地，我们可以得到${\mathcal{L}}_{NC}^{w\to s}$，从而得到样本X的${\mathcal{L}}_{NC}={\mathcal{L}}_{NC}^{s\to w}+{\mathcal{L}}_{NC}^{w\to s}$。

图级对比：GC 旨在通过对比每个训练批次中的样本来学习鲁棒的全局级特征。 为了进行后续对比，我们在这里通过堆叠所有传感器特征来获得全局级特征。 对于弱视图，$g^w=[c_1^w|...|c_N^w]$，其中[ ]表示串联。 对于强视图也进行类似的操作。

为了学习鲁棒的全局级特征，GC是通过最大化两个视图中相应样本之间的相似性并同时最小化这些视图中不同样本之间的相似性来实现的。 给定一批 B MTS 样本，我们有来自两个增强视图的 2B 个增强样本。 两个视图中对应的样本被视为正对，样本的每个视图可以与剩余的增强样本形成2B-2个负对。 我们将批次内弱视图和强视图中第 p 个增强样本的全局级特征表示为 g p { w , s } g_{p}^{\{w,s\}} gp{w,s}​。 因此，图级对比如式（1）所示。 (4)，表示将强视图中的样本与批次中剩余的增强样本进行对比。 这里，${\hat{\nu }}_p$表示批次中不包括第 p 个样本的样本集。

类似地，我们可以得到弱视图的${\mathcal{L}}_{GC}^w$，从而得到${\mathcal{L}}_{GC}={\mathcal{L}}_{GC}^s+{\mathcal{L}}_{GC}^w$。

最后，我们结合 MWTC、NC 和 GC 形成最终的自监督损失，如式（1）所示。 (5)，其中${\lambda }_{MWTC},{\lambda }_{NC}$和λGC是表示损失相对权重的超参数。 值得注意的是，每个 MTS 样本都获得了 MWTC 和 NC，因此第 p 个样本的它们被表示为${\mathcal{L}}_{p,MWTC}$和${\mathcal{L}}_{p,NC}$。

Experimental Results

数据集 我们在 10 个公共 MTS 数据集上检查我们的方法进行分类，包括人类活动识别 (HAR)（Anguita 等人，2012 年）、ISRUC（Khalighi 等人，2016 年）和来自 UEA 档案的 8 个大型数据集，即 ArtularyWordRecognition (AWR) )、FingerMovements (FM)、SpokenArabicDigitsEq (SAD)、CharacterTrajectories (CT)、FaceDetection (FD)、InsectWingbeat (IW)、MotorImagery (MI) 和 SelfRegulationSCP1 (SRSCP1)。 对于 HAR 和 ISRUC，我们将它们随机分为 80% 和 20% 进行训练和测试，而对于来自 UEA 档案的数据，我们直接采用它们预定义的训练-测试分割。 数据集的统计数据见附录。

评估为了评估，我们遵循当前方法的标准线性分类方案（Eldele et al. 2021; Yue et al. 2022），即以自监督的方式仅使用训练数据训练编码器，然后训练线性分类器 在预先训练的编码器之上。 为了评估性能，我们采用两个指标，即准确度 (Accu.) 和宏观平均 F1 得分 (MF1)（Eldele 等人，2021 年；Meng 等人，2022 年）。 此外，为了减少随机初始化的影响，我们对所有实验进行十次，并取平均结果进行比较。 报告标准偏差以显示结果的稳健性。

实现细节所有方法均使用 NVIDIA GeForce RTX 3080Ti 进行，并由 PyTorch 实现（Paszke et al. 2019）。 我们将批量大小设置为 128，并选择 ADAM 作为优化器，学习率为 3e4。 我们预训练模型并训练线性分类器 40 个 epoch。 更多实施细节参见附录。

Comparisons with State-of-the-Arts

我们将我们的方法与 SOTA 方法进行比较，包括 SimCLR (Chen et al. 2020a)、TNC (Tonekaboni, Eytan, and Goldenberg 2021)、TS-TCC (Eldele et al. 2021)、TS2Vec (Yue et al. 2022)、MHCCL （Meng 等人，2022）、CaSS（Chen 等人，2022）和 TAGCN（Zhang 等人，2023d）。 除了编码器之外，所有方法都根据其原始设置重新实现，为了公平比较，编码器被替换为与我们相同的编码器。 表 1 显示了与 SOTA 方法的比较。 从表中，我们观察到 TS-GAC 在十分之八的数据集上实现了最佳性能。 特别是，TSGAC 在 HAR 和 ISRUC 上取得了很大的进步，准确率分别提高了 1.44% 和 3.13%。 在 TS-GAC 达到第二好的其余情况下，TS-GAC 与最佳结果的差距很小，例如仅比 FM 的最佳准确率低 0.4%。 同时，TS-GAC 的方差更小，表明我们的 TS-GAC 更加稳健和稳定。
优越的性能可归因于 TS-GAC 实现的空间一致性。 为了直观地证明这种空间一致性，我们从不同的角度可视化传感器特征，将 TS-GAC 与两种竞争方法 TS2Vec 和 TAGCN 进行比较。 我们首先可视化各个传感器的功能。 如图 4 所示，TS-GAC 表现出比 TS2Vec 和 TAGCN 更清晰的传感器集群，强调了其学习鲁棒传感器特征的能力。 基于清晰的传感器特征，从弱视图和强视图中提取的特征被对齐。 具体来说，TS-GAC 在弱视图和强视图中为相同传感器获得了更接近的特征簇，展示了其在不同角度学习一致的传感器特征的能力。

Ablation Study

我们评估了 TS-GAC 中设计的增强和对比技术，这些技术分为两类变体。 第一类测试增强，包括 w/o Aug. (N) 和 w/o Aug. (E)，分别表示没有节点和边增强的变体。 第二类评估对比损失的有效性，其中 w/o GC、w/o NC 和 w/o MWTC 的变体分别表示消除了图级对比、节点级对比和多窗口时间对比。 最后，我们将它们与完整的 TS-GAC 进行比较。

表2显示了结果，由于篇幅有限，我们只展示了HAR和ISRUC的结果。 更多结果可以在我们的补充材料中找到。 实验结果证明了我们提出的图增强和对比技术在实现 MTS 数据空间一致性方面的有效性。 具体来说，图增强显示了学习鲁棒表示方面的显着改进。 与没有节点增强的变体相比，我们完整的 TS-GAC 在两个数据集上实现了 1.30% 和 0.36% 的改进。 同样，与没有边缘增强的模型相比，我们完整的 TS-GAC 在两个数据集上实现了 0.60% 和 0.35% 的改进。 这些改进表明有必要使用图形增强来更好地增强 MTS 数据。 同时，设计的对比技术在学习鲁棒表示方面发挥着至关重要的作用，与没有任何对比损失的变体相比，我们完整的 TS-GAC 实现了最佳性能。 例如，我们在两个数据集上看到，通过删除 GC 下降了 2.17% 和 2.52%，通过删除 NC 下降了 1.98% 和 2.93%，这表明图对比在实现空间一致性方面的有效性。 通过删除两个数据集上的 MWTC，我们进一步观察到下降了 0.67% 和 2.90%，这表明实现每个传感器的时间一致性的重要性。 此外，我们可以从结果中得出，TS-GAC 仍然可以实现良好的增强效果，在学习鲁棒表示方面显示出显着的改进。 与没有节点增强的变体相比，我们完整的 TS-GAC 在两个数据集上实现了 1.30% 和 0.36% 的改进。 同样，与没有边缘增强的模型相比，我们完整的 TS-GAC 在两个数据集上实现了 0.60% 和 0.35% 的改进。 这些改进表明有必要使用图形增强来更好地增强 MTS 数据。 同时，设计的对比技术在学习鲁棒表示方面发挥着至关重要的作用，与没有任何对比损失的变体相比，我们完整的 TS-GAC 实现了最佳性能。 例如，我们在两个数据集上看到，通过删除 GC 下降了 2.17% 和 2.52%，通过删除 NC 下降了 1.98% 和 2.93%，这表明图对比在实现空间一致性方面的有效性。 通过删除两个数据集上的 MWTC，我们进一步观察到下降了 0.67% 和 2.90%，这表明实现每个传感器的时间一致性的重要性。 此外，从结果中我们可以看出，即使仅使用图对比，TS-GAC仍然可以获得良好的性能，进一步凸显了图对比的有效性。

总的来说，这些发现验证了我们提出的图增强和对比技术的重要性，证明了在对 MTS 数据进行 CL 时实现空间一致性的必要性。

Sensitivity Analysis

超参数分析我们分析了λMWTC、λGC和λNC来测试它们的效果。 超参数是各种损失之间的权衡，因此我们选择[0, 0.001, 0.005, 0.01, 0.05, 0.1, 0.3, 0.5, 0.7, 1.0]内的值。 为了降低计算成本，我们在测试其中一个超参数时将其他超参数固定为1。 从图6中我们观察到，当超参数设置为较大的值时，TS-GAC往往会获得更好的性能。 例如，在 HAR 上，随着 λGC 从 0 增加到 0.7，精度提高了 2%。 这些改进表明对比损失对 CL 性能有积极影响。 然而，当值足够大时，改进就会变得很小。

例如，当λGC从0.7增加到1时，性能没有明显的改善。在其他超参数中也可以发现类似的趋势。 因此，我们可以得出，大的超参数对性能有积极的影响； 然而，太大的值是不必要的。

用于边缘增强的保留边缘数量为了有效地增强传感器相关性，我们通过为每个传感器保留最强的相关性（即边缘）并用随机值替换剩余的相关性来设计边缘增强。 s 的值对于增强传感器关系至关重要，因此需要进行测试。 这里，弱视图应该具有较大的 s 以进行弱增强，而强视图应具有较小的 s 以进行强增强。 同时，HAR 和 ISRUC 中的每个传感器分别有 9 个和 10 个边缘。 因此，对于 HAR，我们在 [5,6,7,8,9] 内的弱视图中设置 s，对于 ISRUC 添加 10。 对于强视图，我们将两个数据集的 s 设置在 [1,2,3,4,5] 范围内。 图 7 显示了 HAR 和 ISRUC 的结果，其中没有。 保留的边数表示 s 的值。 我们以 HAR 中的结果为例，观察到当强视图中的 s 设置为 2 而弱视图中的 s 保持固定时，我们的模型表现出更好的性能。 另一方面，当弱视图中的 s 设置为 7 或 8，同时保持强视图中的 s 固定时，我们的模型表现出更好的性能。 这些趋势表明，强视图中保留的相关性较少有积极的作用，但s的值不宜太小，以避免相关性过度扭曲。 同样，在弱视图中保留更多的相关性是有益的，但 s 的值不应该太大。

Conclusion

我们提出 TS-GAC 用于 MTS 分类。 为了实现空间一致性，针对 MTS 数据定制了特定的增强和对比技术。 为了更好地增强 MTS 数据，提出了图增强，包括节点和边缘增强，以确保传感器及其相关性的鲁棒性。 此外，还设计了图对比，包括节点级和图级对比，以提取鲁棒的传感器级和全局级特征。 我们进一步引入多窗口时间对比，以确保每个传感器的时间一致性。 实验表明，TS-GAC 在各种 MTS 分类任务中均实现了 SOTA 性能。

---