SMA TE: Semi-Supervised Spatio-Temporal RepresentationLearning on Multivariate Time Series

最新推荐文章于 2024-05-20 20:36:51 发布
最新推荐文章于 2024-05-20 20:36:51 发布
阅读量238 收藏
点赞数
分类专栏： 时间序列分类 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34845880/article/details/120614506
版权

这是一篇基于Tapnet修改的文章。

创新点：

1、加入了时间序列的空间信息（也就是variable 轴）

2、是用半监督学习

3、对embedding learning可视化

4、与13个监督学习和4个半监督学习作为baseline

（个人觉得，相较于Tapnet，不同的地方主要在于加入了空间信息，和用的是AE框架）

A:MTS需要考虑2个部分，一部分是时间依赖性p(x_{t'}|x_{t}) (t'>t) 和空间相关性。 先前的论文都是只有考虑2个variable之间对应点的相关性。但这篇论文觉得，应该考虑2个variable 一个m窗口之间的相关性。也就是s_{t}的相关性，其中s__{t}=\{x_{t-m/2,t+m/2}^i ,{x_{t-m/2,t+m/2}^j} \}。这带来了一个空间相关矩阵的时间邻居和空间变量给定的空间状态。

B：半监督学习的定义，D_{l}为标签样本，D_{u}是没有标签样本。

SMATE:

SMATE有3个关键部分，一个是时空动态encoder，序列decoder，和半监督的嵌入层的三步正则化。

SMB：

简单说就是把序列通过空间模块，加入空间信息，个人觉得，类似于SE模块，只不过论文中加了一个参数M，来调整一个窗口内的相关性。

三步正则化（three-step regularization）：

1:求出每一类的均值。就是把所有类别1的embedding vector 初始化聚类为c_{k},k为类别数。

2、调整有标签数据质心位置，也就是均值，计算每一个实例到质心的距离，然后求出新的权重Wki 

然后更新质心

3、用无标签数据调整质心位置，计算无标签到质心的距离的比重，然后求出新的权重

 

 最后，合并有监督和无监督数据数据，得出最后的质心

 

 

最后，计算loss是交叉熵加上MSE的loss

其实也很简单
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
[GCN] 代码解析 of GitHub：Semi-supervised classification with graph convolutional networks
01-21
本文解析的代码是论文Semi-Supervised Classification with Graph Convolutional Networks作者提供的实现代码。 原GitHub：Graph Convolutional Networks in PyTorch 本人增加结果可视化 (使用 t-SNE 算法) 的GitHub...
SMATE: Semi-Supervised Spatio-Temporal Representation Learning on Multivariate Time Series
小蚂蚁与大象
06-10 211
摘要：多元时间序列(MTS)的学习近年来受到广泛关注。特别是考虑到MTS的复杂维数和连续的数据结构，标签短缺对MTS的分类任务是一个真正的挑战。与自我训练和阳性标记学习依赖基于距离的分类器,在本文中,我们提出SMATE,小说semi-supervised模型学习可判断的时空表示从弱MTS的标签。我们验证经验学习表示30日公共数据集从UEA MTS档案。我们将其与13种用于完全监督任务的最新基线方法和4种用于半监督任务的基线方法进行比较。结果表明了该方法的可靠性和有效性背景：存在的方法大多是完全监督的，在构建
Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
LYKymy的博客
09-21 1367
Abstract 卷积神经网络（cnn）被认为是一类有效的图像识别模型。然而，当利用CNN学习时空视频表示时，这并非不平凡。一些研究表明，执行3D卷积是一种捕获视频中时空维度的有益方法。然而，从头开始开发非常深的3d cnn会导致昂贵的计算成本和内存需求。一个有效的问题是，为什么不为3D CNN回收现成的2D网络。在本文中，我们通过在空间域（相当于2D CNN）上模拟3×3×3卷积滤波器（相当于...
【论文精读】一石二鸟：Series Saliency for Accurate and Interpretable Multivariate Time Series Forecasting
小哨的博客
02-08 618
时间序列可解释性论文精读 Two Birds with One Stone: Series Saliency for Accurate and Interpretable Multivariate Time Series Forecasting
Multi-Horizon Time Series Forecasting with Temporal Attention Learning
颹蕭蕭
05-27 3296
文章目录论文地址模型结构图注意力机制季节内的注意力季节间的注意力分位点回归 论文地址 https://dl.acm.org/doi/10.1145/3292500.3330662 模型结构图 使用注意力机制的时间序列多步预测模型： 对离散输入做 Embeding 对历史数据用单向 LSTM 提取特征，每一个历史时刻对应一个隐状态，图中的下面部分 对未来的输入用双向的 Bi-LSTM 提取特征，图中的上面部分 用注意力机制建立未来时刻特征和历史时刻特征的联系，图中的中间部分 注意力机制 从图中可以看出，
论文解读：Semi-Supervised Time Serices Classification
zcyyc的博客
01-18 335
Semi-Supervised Time Serices Classification 背景介绍         时间序列分类近几年很被注重，对它的研究也是普遍存在的，但目前的很多方法都受到了需要大量标记的训练数据的限制。实际上，收集这些数据可能非常困难或昂贵。例如，可能需要心脏病专家，太空发射技师，昆虫学家或其他领域专家的时间和专业知识来手动标记数据。 ...
FLOWPRINT-Semi-Supervised Mobile-App.pdf
03-30
FLOWPRINT-Semi-Supervised Mobile-App.pdf
论文研究-Pointwise Manifold Regularization for semi-supervised classification.pdf
08-16
点状半监督流形正则化分类学习，汪云云，沈雅婷，流形正则化(MR)是经典半监督分类学习方法，同时利用有标记和无标记样本进行学习。依据流形假设，约束流形结构图上相似样本具有相��
Self-labeled-techniques-for-semi-supervised-learning
05-15
用于半监督学习的自标记技术 2017年在罗马的Sapienza大学进行的一次神经网络项目课程。 项目报告： 实际部分： 创建的算法： 和
SSDMV: Semi-supervised Deep Social Spammer Detection by Multi-View Data Fusion
02-08
SSDMV: Semi-supervised Deep Social Spammer Detection by Multi-View Data Fusion
论文Spatial-Temporal Transformer for Dynamic Scene Graph Generation
Mr___WQ的博客
03-21 461
最近由于要做SGG方向，恰巧之前保存过这篇论文2107.12309.pdf (arxiv.org)https://arxiv.org/pdf/2107.12309.pdf代码地址： GitHub - yrcong/STTran: Spatial-Temporal Transformer for Dynamic Scene Graph Generation, ICCV2021https://github.com/yrcong/sttran想进一步了解SGG任务的可以看下这篇综述，后续我也会进一步研究。2104
（十七）Temporal Pattern Attention for Multivariate Time Series Forecasting
WangZixuan1111的博客
06-05 4391
相关PPT已经上传，可以在我上传的资源里看到，可免费下载 本篇论文是在上一篇的文章的基础上进行的，我们发现，作者使用的数据集相同，并且评估指标基本一样，对比实验也是如此，创新点在于提出的一种新的注意力机制 论文信息 2019 AAAI 多变量时间序列预测 论文链接：Temporal Pattern Attention for Multivariate Time Series Forecasting 代码链接：https://github.com/gantheory/TPA-LSTM 论文解析参考： 参考
打开深度学习的锁：（3）进阶知识补充
最新发布
Jiashun Hao的博客
05-20 577
2：对于小权重的特征来说，损失也会增大，但也没有那么大，所以下一次更新的时候权重会减少但是没有很多。例如，如果你需要一个简化的模型来解释模型是如何做出决策的（特征选择），L1可能是更好的选择。如果你需要确保模型的所有参数都小一些，从而增强模型的泛化能力，那么L2可能是更合适的选择。除了正则化以外，一些对于设置的优化方式，也可以帮助建立更好的模型，主要有以下几点。，对于大权重的特征来说，损失会增大，所以下一次更新的时候权重会被减少很多。此外， Dropout正则化的设置比较灵活，对于重要的层，比如最后的。
深度学习之基于YoloV5人体打架异常行为识别
2301_79809972的博客
05-20 532
一、项目背景与意义随着社会的发展和科技的进步，对于公共场所的安全监控需求日益增加。尤其是在一些高人流量的场所，如学校、商场、车站等，打架斗殴等异常行为的发生可能会给人们的生命安全和财产带来威胁。因此，开发一种能够实时监测并识别打架斗殴等异常行为的技术显得尤为重要。基于YOLOv5的人体打架异常行为识别项目旨在利用深度学习技术，实现对人体打架等异常行为的快速、准确识别，为公共场所的安全监控提供有力支持。二、技术实现。
常用深度学习工作站、服务器推荐
HPC_factory的博客
05-16 409
1块500GB M.2 SSD系统盘+1块8TB SATA 企业级硬盘作为数据盘。1块1TB M.2 SSD系统盘+1块18TB SATA 企业级硬盘作为数据盘。1块1TB U.2 SSD系统盘+3块18TB SATA 企业级硬盘作为数据盘。2张NVIDIA Geforce RTX 4090三风扇版。4张NVIDIA Geforce RTX 4090三风扇版。NVIDIA Geforce RTX 4090涡轮版。常用配置以单卡、双卡、四卡工作站，八卡服务器为主。目前常用的显卡4090、A6000.
Python轴承故障诊断 (19)基于Transformer-BiLSTM的创新诊断模型
小蜗爱建模的博客
05-16 861
注意：本模型继续加入 轴承故障诊断—创新模型全家桶 中，之前购买的同学请及时更新下载!
【移花接木】OpenCV4.8 For Java 深度学习 实时人脸检测
关注微信公众号【OpenCV学堂】
05-17 525
解锁Java语言支持深度学习模型部署与推理技能
深度学习之基于YoloV5的路面裂缝检测识别分析系统
qq1744828575的博客
05-20 633
一、项目背景与目标随着城市化进程的加快，道路建设和维护成为城市基础设施的重要组成部分。然而，道路在长期使用过程中，由于车辆荷载、环境因素等原因，往往会出现裂缝等病害，影响道路的安全性和使用寿命。传统的路面裂缝检测方法主要依靠人工巡检，不仅效率低下，而且容易遗漏或误判。因此，本项目旨在利用深度学习技术，特别是YOLOv5目标检测算法，开发一个高效、准确的路面裂缝检测识别分析系统，以提高道路巡检的效率和准确性。二、系统组成本系统主要包括图像采集、图像预处理、裂缝检测和识别分析四个部分。
基于门控的循环神经网络：GRU
weixin_42255757的博客
05-20 436
本文主要介绍了门控循环单元GRU网络的原理以及实现。
介绍一下：Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion
05-11
Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion 是一篇论文，主要探讨了如何利用自监督学习的方法对高光谱图像进行超分辨率重建。该方法使用了分离和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值