论文分享
文章平均质量分 93
深度学习类论文阅读笔记
zzz_979
这个作者很懒,什么都没留下…
展开
-
[论文分享]TimesURL:通用时间序列表示学习的自监督对比学习
学习适用于各种下游任务的通用时间序列表示具有挑战性,但在实际应用中很有价值。最近,研究人员试图利用计算机视觉(CV)和自然语言处理(NLP)中自我监督对比学习(SSCL)的成功来解决时间序列表示问题。然而,由于特殊的时间特征,仅仅依靠其他领域的经验指导可能对时间序列无效,并且难以适应多个下游任务。1)设计正对增广方法,2)构造(难)负对,3)设计SSCL损耗。对于1)和2),我们发现不适当的正负对构建可能会引入不适当的归纳偏差,这既不能保持时间性质,也不能提供足够的判别特征。原创 2024-01-04 20:51:58 · 1803 阅读 · 2 评论 -
[论文分享]TimeDRL:多元时间序列的解纠缠表示学习
在许多现实世界的应用程序(例如,医疗保健和工业)中,多变量时间序列数据信息丰富,但由于缺乏标签和高维,具有挑战性。最近在自监督学习方面的研究已经显示了它们在不依赖标签的情况下学习丰富表征的潜力,但它们在学习解纠缠嵌入和解决归纳偏差问题(例如,变换不变性)方面存在不足。为了解决这些挑战,我们提出了TimeDRL,这是一个通用的多元时间序列表示学习框架,具有解纠缠的双层次嵌入。(i)使用[CLS]令牌策略从修补的时间序列数据中分离出时间戳级和实例级嵌入的派生;原创 2023-12-21 15:11:33 · 1371 阅读 · 0 评论 -
[论文分享]TSPTM-survey:时间序列预训练模型研究综述
在UCR时间序列数据集上的实验表明,迁移学习可以提高或降低下游任务的性能,这取决于源数据集和目标数据集是否相似。通用编码器首先在标记的源数据集上预训练基网络,然后将基网络转移到目标域。这通常需要大量标记的源样本进行预训练,并且很难在时间序列域中获得。当源数据集和目标数据集相似(不相似)时,通常会发生正(负)迁移。以往的研究探讨了如何在潜在表示空间中基于数据集间相似性或时间序列表示来选择源。此外,基于域自适应的对齐编码器考虑了源数据和目标数据分布的差异。原创 2023-08-25 11:32:20 · 1977 阅读 · 0 评论 -
[论文分享]MR-MAE:重构前的模拟:用特征模拟增强屏蔽自动编码器
掩模自编码器(MAE)是一种流行的大规模视觉表征预训练方法。然而,MAE仅在解码器之后重建低级RGB信号,缺乏对编码器高级语义的监督,因此存在次优学习表征和较长的预训练时间。为了缓解这一问题,以前的方法只是用预训练图像(DINO)或图像语言(CLIP)对比学习的编码特征替换75%的掩码标记的像素重建目标。与这些研究不同的是,我们提出了先模仿后重建的掩膜自编码器,称为MR-MAE,它在预训练过程中不受干扰地共同学习高级和低级表征。原创 2023-07-14 16:55:38 · 1231 阅读 · 0 评论 -
[论文分享]ConvMAE:Masked Convolution Meets Masked Autoencoders
视觉变压器(Vision transformer, ViT)已成为广泛应用于各种视觉任务的架构。用于特征预训练的掩膜自编码和多尺度混合卷积-变压器架构可以进一步释放ViT的潜力,从而在图像分类、检测和语义分割方面取得最先进的性能。在本文中,我们的ConvMAE框架证明了多尺度混合卷积-变压器通过掩码自编码方案可以学习更多的判别表示。然而,直接使用原始掩蔽策略会导致计算成本高和预训练微调差异。为了解决这个问题,我们采用了掩码卷积防止卷积块中的信息泄漏。为了保证计算效率,提出了一种简单的逐块屏蔽策略。原创 2023-07-14 16:51:36 · 309 阅读 · 0 评论 -
[论文分享]TS-TCC:基于时间和语境对比的时间序列表征学习
从具有时间动态的未标记时间序列数据中学习合适的表示是一项非常具有挑战性的任务。在本文中,我们提出了一个通过时间和上下文对比(TS-TCC)的无监督时间序列表示学习框架,从未标记的数据中学习时间序列表示。首先,使用弱增强和强增强将原始时间序列数据转换为两个不同但相关的视图。其次,我们提出了一个新的时间对比模块,通过设计一个严格的跨视图预测任务来学习鲁棒的时间表征。最后,为了进一步学习判别表征,我们提出了一个基于时间对比模块的语境对比模块。原创 2023-07-14 16:47:28 · 369 阅读 · 0 评论 -
[论文分享]SimMIM:一种简单的掩模图像建模框架
本文介绍了SimMIM,这是一个用于掩模图像建模的简单框架。我们简化了最近提出的相关方法,而不需要特殊的设计,例如通过离散VAE或聚类进行分块掩蔽和标记化。为了研究是什么使掩蔽图像建模任务学习良好的表示,我们系统地研究了我们框架中的主要组件,并发现每个组件的简单设计都揭示了非常强的表示学习性能:1)对具有适度大的掩蔽补丁大小(例如,32)的输入图像进行随机掩蔽,可以生成强大的文本前任务;2) 通过直接回归预测原始像素的RGB值并不比具有复杂设计的补丁分类方法差;原创 2023-07-14 16:26:58 · 312 阅读 · 0 评论 -
[论文分享]TimeMAE:解耦掩码自编码器时间序列的自监督表示
利用自监督预训练增强基于深度学习的时间序列模型的表达能力在时间序列分类中越来越流行。尽管已经投入了大量的努力来开发时间序列数据的自监督模型,但我们认为目前的方法还不足以学习最佳的时间序列表示,因为在稀疏的点方向输入单元上只有单向编码。在这项工作中,我们提出了TimeMAE,这是一种新的自监督范式,用于学习基于变压器网络的可转移时间序列表示。TimeMAE的独特之处在于通过窗口切片分割将每个时间序列处理成一系列不重叠的子序列,然后对局部子序列的语义单元进行随机屏蔽策略。原创 2023-06-01 21:19:46 · 970 阅读 · 0 评论 -
[论文笔记]SimMIM:a Simple Framework for Masked Image Modeling
本文介绍了SimMIM,这是一个用于掩模图像建模的简单框架。我们简化了最近提出的相关方法,而不需要特殊的设计,例如通过离散VAE或聚类进行分块掩蔽和标记化。为了研究是什么使掩蔽图像建模任务学习良好的表示,我们系统地研究了我们框架中的主要组件,并发现每个组件的简单设计都揭示了非常强的表示学习性能。原创 2023-05-06 10:59:45 · 1081 阅读 · 1 评论 -
[论文笔记]SimSiam:Exploring Simple Siamese Representation Learning
孪生网络已经成为最近各种无监督视觉表示学习模型中的常见结构。这些模型最大化了一幅图像的两个增强之间的相似性,在一定的条件下避免坍塌。在本文中,我们报告了令人惊讶的经验结果,即简单的孪生网络即使不使用以下任何一种也可以学习有意义的表示:(i)负样本对,(ii)大批量,(iii)动量编码器。我们的实验表明,对于损失和结构确实存在坍塌解,但停止梯度操作在防止坍塌方面起着至关重要的作用。我们提供了一个关于停止梯度含义的假设,并进一步展示了验证它的概念验证实验。原创 2023-04-26 19:56:54 · 795 阅读 · 0 评论 -
【论文笔记】SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling
时间序列分析被广泛应用于各个领域。近年来,为了降低标签费用,使各种任务受益,自我监督式预训练引起了人们的极大兴趣。一种主流范式是 masked 建模,它通过学习基于未 masked 部分重构masked 内容来成功地预训练深度模型。然而,由于时间序列的语义信息主要包含在时间变化中,随机 masked 部分时间点的标准方法会严重破坏时间序列重要的时间变化,使得重构任务难以指导表示学习。因此,我们提出了SimMTM,一个用于 masked 时间序列建模的简单预训练框架。原创 2023-04-19 14:48:48 · 1324 阅读 · 7 评论 -
【论文笔记】(MV-DTSA)Your time series is worth a binary image...
时间序列预测(TSF)一直是一个具有挑战性的研究领域,已经开发了各种模型来解决这一任务。然而,几乎所有这些模型都是用数值时间序列数据训练的,神经系统对这些数据的处理不如视觉信息有效。为了解决这一挑战,本文提出了一种新的机器视觉辅助深度时间序列分析(MV-DTSA)框架。原创 2023-03-21 20:04:20 · 507 阅读 · 0 评论 -
TimesNet:Temporal 2D-variation modeling for general time series analysis 论文要点
时间序列分析在天气预报、异常检测、动作识别等领域有着广泛的应用。时间变化建模是大量分析任务中常见的关键问题。以前的方法试图直接从1D时间序列中完成这一点,由于复杂的时间模式,这是极具挑战性的。通过对时间序列多周期性的观察,我们将复杂的时间变化分解为多个周期内变化和周期间变化。为了解决一维时间序列在表示能力上的局限性,我们将一维时间序列转换为一组基于多个周期的二维张量,从而将时间变化分析扩展到二维空间。这种变换可以将周期内变化和周期间变化分别嵌入到二维张量的列和行中,使得二维变化可以很容易地用二维核来建模。原创 2023-03-10 18:51:26 · 968 阅读 · 3 评论 -
TS2Vec: Towards Universal Representation of Time Series要点翻译
本文提出了TS2Vec,一个在任意语义层学习时间序列表示的通用框架。与现有方法不同,TS2Vec在增强的上下文视图上以分层方式执行对比学习,这使得每个时间戳都具有鲁棒的上下文表示。此外,为了获得时间序列中任意子序列的表示,我们可以对相应时间戳的表示应用简单的聚合。我们对时间序列分类任务进行了广泛的实验,以评估时间序列表示的质量。因此,TS2Vec在125个UCR数据集和29个UEA数据集上实现了对现有无监督时间序列表示的SOTA的显著改进。学习的时间戳级表示在时间序列预测和异常检测任务中也实现了优异的结果。原创 2023-02-08 15:09:58 · 1386 阅读 · 0 评论 -
Voice2Series: Reprogramming Acoustic Models for Time Series Classification
在本文中,我们提出了端到端的方法Voice2Series (V2S),通过输入转换学习和输出标签映射,对声学模型进行时间序列分类重新编程。利用大规模预训练语音处理模型的表示学习能力,在30个不同的时间序列任务上,我们表明V2S在19个时间序列分类任务上执行有竞争力的结果,研究结果为时间序列分类提供了新的有效手段。这篇论文从另一个角度实现了时间序列的分类,可以发现只需要训练一个输入变换函数和输入映射函数,而模型则是不需要重新训练的,实现了模型迁移。原创 2023-02-08 15:57:29 · 245 阅读 · 0 评论 -
MAE:Masked Autoencoders Are Scalable Vision Learners思路提炼
MAE是一种可扩展的计算机视觉自监督学习者。MAE方法简单:屏蔽输入图像的随机补丁,并重建缺失的像素。它基于两个核心设计。首先,我们开发了一个非对称编码器-解码器架构,其中编码器只对补丁的可见子集(没有掩码标记)进行操作,以及一个轻量级解码器,从潜在的表示和掩码标记重建原始图像。其次,屏蔽输入图像的高比例可以产生一个自我监督任务。原创 2023-02-08 11:35:09 · 86 阅读 · 0 评论