【时序数据 - 自监督预训练】基于时频一致性的时间序列自监督对比预训练

Willow_CS_DN

已于 2024-01-19 16:32:49 修改

阅读量941

点赞数 9

分类专栏：深度学习论文文章标签：论文笔记深度学习人工智能

于 2024-01-04 16:28:59 首次发布

本文链接：https://blog.csdn.net/Q1599293439/article/details/135389812

版权

深度学习论文专栏收录该内容

8 篇文章

订阅专栏

研究提出一种基于时间频率一致性的预训练方法(TF-C)，通过在无目标样本情况下使时间与频率表示对齐，改善了时间序列任务的下游性能。实验显示，TF-C在各种场景中显著优于现有方法，特别是在一对一和一对多设置中表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文原文: Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency (基于时频一致性的时间序列自监督对比预训练) （Neurips 2022）
代码地址: Time-Frequency Consistency

摘要

在时间序列的预训练中存在一项的挑战，这是由于预训练和目标域之间存在不匹配，例如时间动态的变化、快速演变以及长短周期效应，导致下游性能不佳。虽然域自适应方法可以缓解这些变化，但大多数方法需要来自目标域的样本，这使预训练表现不佳(这里是相对CV或NLP方向的困境)。
为了解决这个挑战，需要适应具有不同时间动态的目标域，并且在预训练期间能够在没有看到任何目标样本的情况下完成这一点。相对于其他模态，我们期望在时间序列中，相同示例的基于时间和基于频率的表示在时间频率空间中靠近。为此，我们认为时间频率一致性（Time-Frequency Consistency, TF-C）是预训练中可取的，即将样本的基于时间的域嵌入到其基于频率的邻域附近 (简单说就是让同一个样本在时频俩个域的嵌入对齐)。在TF-C的激发下，我们定义了一个可分解的预训练模型，其中自监督信号由时间和频率分量之间的距离提供，每个分量都通过对比估计进行训练。我们在包括电诊断测试、人体活动识别、机械故障检测和物理状态监测在内的八个数据集上评估了新方法。针对八种最先进的方法进行的实验证明，在一对一的设置中（例如，在EMG数据上微调EEG预训练模型），TF-C在平均F1分数上优于基线15.4%，在具有挑战性的一对多设置中（例如，为手势识别或机械故障预测微调EEG预训练模型），在精度上优于基线8.4%，反映了在现实应用中出现的各种场景的广泛性。