- 博客(59)
- 收藏
- 关注
RSS订阅原创 [论文分享]TimesURL：通用时间序列表示学习的自监督对比学习
学习适用于各种下游任务的通用时间序列表示具有挑战性，但在实际应用中很有价值。最近，研究人员试图利用计算机视觉(CV)和自然语言处理(NLP)中自我监督对比学习(SSCL)的成功来解决时间序列表示问题。然而，由于特殊的时间特征，仅仅依靠其他领域的经验指导可能对时间序列无效，并且难以适应多个下游任务。1)设计正对增广方法，2)构造(难)负对，3)设计SSCL损耗。对于1)和2)，我们发现不适当的正负对构建可能会引入不适当的归纳偏差，这既不能保持时间性质，也不能提供足够的判别特征。
2024-01-04 20:51:58
1756
2
原创 [论文分享]TimeDRL：多元时间序列的解纠缠表示学习
在许多现实世界的应用程序(例如，医疗保健和工业)中，多变量时间序列数据信息丰富，但由于缺乏标签和高维，具有挑战性。最近在自监督学习方面的研究已经显示了它们在不依赖标签的情况下学习丰富表征的潜力，但它们在学习解纠缠嵌入和解决归纳偏差问题(例如，变换不变性)方面存在不足。为了解决这些挑战，我们提出了TimeDRL，这是一个通用的多元时间序列表示学习框架，具有解纠缠的双层次嵌入。(i)使用[CLS]令牌策略从修补的时间序列数据中分离出时间戳级和实例级嵌入的派生;
2023-12-21 15:11:33
1348
原创 [论文分享]TSPTM-survey：时间序列预训练模型研究综述
在UCR时间序列数据集上的实验表明，迁移学习可以提高或降低下游任务的性能，这取决于源数据集和目标数据集是否相似。通用编码器首先在标记的源数据集上预训练基网络，然后将基网络转移到目标域。这通常需要大量标记的源样本进行预训练，并且很难在时间序列域中获得。当源数据集和目标数据集相似（不相似）时，通常会发生正（负）迁移。以往的研究探讨了如何在潜在表示空间中基于数据集间相似性或时间序列表示来选择源。此外，基于域自适应的对齐编码器考虑了源数据和目标数据分布的差异。
2023-08-25 11:32:20
1903
原创 GSQL常用语句介绍-建模、加载数据、查询
- 定义了一个名为 @@globalMax 的累加器，它的类型是 MaxAccum <INT>，是一种标量累加器，表示在累积过程中保留最大值。-- 定义了一个名为 @tags 的累加器，它的类型是 SetAccum <String>,表示它是一个容器累加器，用于在查询过程中累积唯一的字符串值。（1）Scaler Accumulator（标量累加器）SumAccum #保留求和值MinAccum / MaxAccum / AvgAccum #保留最小、最大、平均值。
2023-08-15 21:05:50
415
原创 LLDP协议（链路层链路发现协议）
随着网络技术的发展，接入网络的设备的种类越来越多，配置越来越复杂，来自不同设备厂商的设备也往往会增加自己特有的功能，这就导致在一个网络中往往会有很多具有不同特性的、来自不同厂商的设备，为了。LLDP是一个用于信息通告和获取的协议，但是需要注意的一点是，LLDP发送的信息通告不需要确认，不能发送一个请求来请求获取某些信息，也就是说LLDP是一个。，LLDP协议（Link Layer Discovery Protocol，链路层发现协议）就是用于这个目的的协议。的TLV，其他则为可选TLV。
2023-07-25 18:52:39
556
原创 ARP协议（地址解析协议）
通过把第一次 ARP 获取到的 MAC 地址作为 IP 对 MAC 的映射关系到一个 ARP 缓存表中，下一次再向这个地址发送数据报时就不再需要重新发送 ARP 请求了，而是直接使用这个缓存表中的 MAC 地址进行数据报的发送。MAC 地址的缓存有一定期限，超过这个期限后，缓存的内容会被清除。MAC 地址长 48 bit，MAC 地址中第1位确定单播地址（0）/多播地址（1），第2位确定全局地址（0）/本地地址（1），的 3 - 24 位表示厂商识别码，每个 NIC 厂商都有特定唯一的识别数字。
2023-07-25 18:51:39
1147
原创 数据库介绍-图数据库
图数据库源起欧拉和图理论，也可称为面向/基于图的数据库，对应的英文是Graph Database。图数据库的基本含义是以“图”这种数据结构存储和查询数据，而不是存储图片的数据库。它的数据模型主要是以节点和关系（边）来体现，也可处理键值对。它的优点是快速解决复杂的关系问题。
2023-07-24 21:22:33
491
原创 数据库介绍-非关系型数据库
NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。NoSQL 不依赖业务逻辑方式存储，数据存储的类型不需要一个固定形式。因此大大的增加了数据库的扩展能力。
2023-07-24 20:58:25
482
原创 数据库对比介绍-关系型数据库
数据库，又称为数据管理系统，是处理的数据按照一定的方式储存在一起，能够让多个用户共享、尽可能减小冗余度的数据集合。数据库可以分为关系数据库（SQL）和非关系型数据库（NoSQL）。
2023-07-24 20:10:36
242
原创 报错解决：RuntimeError: CUDA error: out of memory CUDA kernel errors
在device为CUDA的情况下，运行多个程序的时候，可能会遇到如下报错。
2023-07-22 20:13:39
3373
原创 [论文分享]MR-MAE：重构前的模拟：用特征模拟增强屏蔽自动编码器
掩模自编码器(MAE)是一种流行的大规模视觉表征预训练方法。然而，MAE仅在解码器之后重建低级RGB信号，缺乏对编码器高级语义的监督，因此存在次优学习表征和较长的预训练时间。为了缓解这一问题，以前的方法只是用预训练图像(DINO)或图像语言(CLIP)对比学习的编码特征替换75%的掩码标记的像素重建目标。与这些研究不同的是，我们提出了先模仿后重建的掩膜自编码器，称为MR-MAE，它在预训练过程中不受干扰地共同学习高级和低级表征。
2023-07-14 16:55:38
1220
原创 [论文分享]ConvMAE：Masked Convolution Meets Masked Autoencoders
视觉变压器(Vision transformer, ViT)已成为广泛应用于各种视觉任务的架构。用于特征预训练的掩膜自编码和多尺度混合卷积-变压器架构可以进一步释放ViT的潜力，从而在图像分类、检测和语义分割方面取得最先进的性能。在本文中，我们的ConvMAE框架证明了多尺度混合卷积-变压器通过掩码自编码方案可以学习更多的判别表示。然而，直接使用原始掩蔽策略会导致计算成本高和预训练微调差异。为了解决这个问题，我们采用了掩码卷积防止卷积块中的信息泄漏。为了保证计算效率，提出了一种简单的逐块屏蔽策略。
2023-07-14 16:51:36
304
原创 [论文分享]TS-TCC：基于时间和语境对比的时间序列表征学习
从具有时间动态的未标记时间序列数据中学习合适的表示是一项非常具有挑战性的任务。在本文中，我们提出了一个通过时间和上下文对比(TS-TCC)的无监督时间序列表示学习框架，从未标记的数据中学习时间序列表示。首先，使用弱增强和强增强将原始时间序列数据转换为两个不同但相关的视图。其次，我们提出了一个新的时间对比模块，通过设计一个严格的跨视图预测任务来学习鲁棒的时间表征。最后，为了进一步学习判别表征，我们提出了一个基于时间对比模块的语境对比模块。
2023-07-14 16:47:28
357
原创 [论文分享]SimMIM：一种简单的掩模图像建模框架
本文介绍了SimMIM，这是一个用于掩模图像建模的简单框架。我们简化了最近提出的相关方法，而不需要特殊的设计，例如通过离散VAE或聚类进行分块掩蔽和标记化。为了研究是什么使掩蔽图像建模任务学习良好的表示，我们系统地研究了我们框架中的主要组件，并发现每个组件的简单设计都揭示了非常强的表示学习性能：1）对具有适度大的掩蔽补丁大小（例如，32）的输入图像进行随机掩蔽，可以生成强大的文本前任务；2） 通过直接回归预测原始像素的RGB值并不比具有复杂设计的补丁分类方法差；
2023-07-14 16:26:58
303
原创 tmux使用技巧
命令行的典型使用方式是，打开一个终端窗口，在里面输入命令。用户与计算机的这种临时的交互，称为一次会话（session）。会话的一个重要特点是，窗口与其中启动的进程是连在一起的。打开窗口，会话开始；关闭窗口，会话结束，会话内部的进程也会随之终止，不管有没有运行完。为了解决这个问题，会话与窗口可以解绑：窗口关闭时，会话并不终止，而是继续运行，等到以后需要的时候，再让会话绑定其他窗口Tmux 就是会话与窗口的解绑工具，将它们彻底分离。Tmux 是一个终端复用器。
2023-06-02 15:13:49
843
原创 [论文分享]TimeMAE：解耦掩码自编码器时间序列的自监督表示
利用自监督预训练增强基于深度学习的时间序列模型的表达能力在时间序列分类中越来越流行。尽管已经投入了大量的努力来开发时间序列数据的自监督模型，但我们认为目前的方法还不足以学习最佳的时间序列表示，因为在稀疏的点方向输入单元上只有单向编码。在这项工作中，我们提出了TimeMAE，这是一种新的自监督范式，用于学习基于变压器网络的可转移时间序列表示。TimeMAE的独特之处在于通过窗口切片分割将每个时间序列处理成一系列不重叠的子序列，然后对局部子序列的语义单元进行随机屏蔽策略。
2023-06-01 21:19:46
942
原创 常用数据处理方式
当数据中的某个数据点明显偏离于其他数据点的分布或者某个数据点明显区别于其他的数据点时，将其判定为异常值，对异常值可采用异常数据检测的方法，检测异常值并将其进行去除。通常的处理办法：对数据进行分箱操作，等频或等宽分箱，然后用每个箱的平均数，中位数或者边界值（不同数据分布，处理方法不同）代替箱中所有的数，起到平滑数据的作用。来拟合现有的数据，使得所有的样本数据都符合该多项式的分布，需要获取某个样本的缺失值时，通过求解该多项式来获得。对时序数据根据其预测出来的时序曲线和真实的数据相比，来判定异常值的出现。
2023-05-08 21:53:40
572
原创 [论文笔记]SimMIM:a Simple Framework for Masked Image Modeling
本文介绍了SimMIM，这是一个用于掩模图像建模的简单框架。我们简化了最近提出的相关方法，而不需要特殊的设计，例如通过离散VAE或聚类进行分块掩蔽和标记化。为了研究是什么使掩蔽图像建模任务学习良好的表示，我们系统地研究了我们框架中的主要组件，并发现每个组件的简单设计都揭示了非常强的表示学习性能。
2023-05-06 10:59:45
1070
1
原创 Pytorch中detach()的作用、与grad.zero_()的区别
Tensor.detach() 的作用是阻断反向梯度传播，当我们在训练网络的时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整；或者只训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播，例如在生成对抗网络的训练当中，在训练判别器的时候不需要生成器进行反向梯度传播，这时候就会使用到 detach()。grad.zero_() 和 detach() 都是在PyTorch中用于梯度计算和反向传播的函数，但它们的作用有所不同。
2023-04-27 19:09:32
1256
2
原创 optimizer.zero_grad(), loss.backward(), optimizer.step()的原理及作用
总的来说，这三步操作的作用分别是清空梯度历史信息，计算新的梯度，通过梯度下降进行参数优化。当然，上述代码的顺序也不是一定固定的，可以根据需求调整。例如可以将optimizer.zero_grad() 放在 optimizer.step() 后面，即梯度累加。每次获取1个batch的数据，计算1次梯度，梯度不清空，不断累加，累加一定次数后，根据累加的梯度更新网络参数，然后清空梯度，进行下一次循环。
2023-04-27 17:37:14
886
原创 [论文笔记]SimSiam：Exploring Simple Siamese Representation Learning
孪生网络已经成为最近各种无监督视觉表示学习模型中的常见结构。这些模型最大化了一幅图像的两个增强之间的相似性，在一定的条件下避免坍塌。在本文中，我们报告了令人惊讶的经验结果，即简单的孪生网络即使不使用以下任何一种也可以学习有意义的表示：(i)负样本对，(ii)大批量，(iii)动量编码器。我们的实验表明，对于损失和结构确实存在坍塌解，但停止梯度操作在防止坍塌方面起着至关重要的作用。我们提供了一个关于停止梯度含义的假设，并进一步展示了验证它的概念验证实验。
2023-04-26 19:56:54
759
原创 Warmup 原理与实现
在神经网络训练过程中，学习率是一个很重要的超参数，学习率的选择对于网络的训练结果有较大的影响。理论上，如果学习率设置过小，则会出现收敛速度过慢的情况；如果学习率设置过大，则容易错过局部最优；实际上，如果学习率设置不合理，很容易出现模型不收敛的情况，warmup就是一种学习率调整策略。
2023-04-26 11:25:48
970
原创 Early Stopping 早停法原理与实现
训练深度学习神经网络的时候通常希望能获得最好的泛化性能，可以更好地拟合数据。但是所有的标准深度学习神经网络结构如全连接多层感知机都很容易过拟合。当模型在训练集上表现很好，在验证集上表现很差的时候，我们认为模型出现了过拟合的情况，early stoppping 就是用来预防过拟合的一种方法，简单且有效。
2023-04-24 14:58:52
3401
原创 深度学习笔记：finetune和linear probing的区别
finetune和linear probing一般和预训练搭配出现，是预训练模型适配下游任务时可选的训练方式
2023-04-20 11:12:31
4030
原创 【论文笔记】SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling
时间序列分析被广泛应用于各个领域。近年来，为了降低标签费用，使各种任务受益，自我监督式预训练引起了人们的极大兴趣。一种主流范式是 masked 建模，它通过学习基于未 masked 部分重构masked 内容来成功地预训练深度模型。然而，由于时间序列的语义信息主要包含在时间变化中，随机 masked 部分时间点的标准方法会严重破坏时间序列重要的时间变化，使得重构任务难以指导表示学习。因此，我们提出了SimMTM，一个用于 masked 时间序列建模的简单预训练框架。
2023-04-19 14:48:48
1299
7
原创 【论文笔记】（MV-DTSA）Your time series is worth a binary image...
时间序列预测(TSF)一直是一个具有挑战性的研究领域，已经开发了各种模型来解决这一任务。然而，几乎所有这些模型都是用数值时间序列数据训练的，神经系统对这些数据的处理不如视觉信息有效。为了解决这一挑战，本文提出了一种新的机器视觉辅助深度时间序列分析(MV-DTSA)框架。
2023-03-21 20:04:20
504
原创 操作系统-概述
操作系统（Operating System，OS）是指控制和管理整个计算机系统的硬件和软件资源，并合理地组织调度计算机的工作和资源的分配，以提供给用户和其他软件方便的接口和环境，它是计算机系统中最基本的系统软件。
2023-03-20 21:50:48
134
原创 计算机网络-传输层
物理层、数据链路层以及网络层共同解决了将主机通过异构网络互联起来所面临的问题，实现了主机到主机的通信。但实际上在计算机网络中进行通信的真正实体是位于通信两端主机中的进程。如何为运行在不同主机上的应用进程提供直接的通信服务是运输层的任务，运输层协议又称为端到端协议。
2023-03-15 13:09:58
88
原创 计算机网络-网络层
文章目录网络层概述面向连接的虚电路服务无连接的数据报服务IPv4地址分类编址A类地址B类地址C类地址小结划分子网无分类域间路由选择CIDR路由聚合IPv4地址应用规划定长的子网掩码FLSM变长的子网掩码VLSMIP数据报发送和转发过程路由静态路由配置动态路由选择路由器基本结构路由信息协议RIPRIP工作原理开放最短路径优先协议OSPFOSPF工作原理边界网关协议BGPIP数据报首部格式网际控制报文协议ICMP差错报文ICMP应用举例分组网间探测PING(Packet lnterNet Groper)跟踪路由
2023-03-14 21:25:04
108
原创 sklearn中的归一化方法StandardScaler中的fit、transform和fit_transform
sklearn中的归一化方法StandardScaler中的fit、transform和fit_transform介绍
2023-03-14 17:39:57
2335
原创 TimesNet：Temporal 2D-variation modeling for general time series analysis 论文要点
时间序列分析在天气预报、异常检测、动作识别等领域有着广泛的应用。时间变化建模是大量分析任务中常见的关键问题。以前的方法试图直接从1D时间序列中完成这一点，由于复杂的时间模式，这是极具挑战性的。通过对时间序列多周期性的观察，我们将复杂的时间变化分解为多个周期内变化和周期间变化。为了解决一维时间序列在表示能力上的局限性，我们将一维时间序列转换为一组基于多个周期的二维张量，从而将时间变化分析扩展到二维空间。这种变换可以将周期内变化和周期间变化分别嵌入到二维张量的列和行中，使得二维变化可以很容易地用二维核来建模。
2023-03-10 18:51:26
960
3
TSNE图-基于pytorch的数据特征可视化工具
2023-05-05
论文讲解分享SimSiam
2023-04-27
SimMTM介绍.pdf
2023-04-21
对比学习文献介绍，包含Ts2vec等
2023-04-21
128个单变量时间序列数据UCR数据集
2023-02-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人