基于自编译器的时间序列异常检测算法

最新推荐文章于 2024-03-03 13:24:43 发布
VIP文章 最新推荐文章于 2024-03-03 13:24:43 发布
阅读量1.2k 收藏 10
点赞数 1
分类专栏： 论文讲解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40364351/article/details/102772001
版权

基于自编译器的时间序列异常检测算法

  • 自编码器其实是一种数据压缩或者特征提取算法
  • 本质上是神经网络
  • 具体步骤如下：

原始时间序列

-> Auto Encoder（Encoder 和 Decoder）

-> 重构后的时间序列

-> 通过重构后的时间序列与原始时间序列的整体误差和局部误差来判断异常点

简单来说，只要输出的时间序列在局部的信息跟原始的时间序列不太一致，就有理由认为原始的时间序列存在着异常。

  • 弊端：

1.从理论上说，它只能对一个时间序列单独训练一个模型，不同类型的时间序列需要使用不同的模型。这样的话，其实维护模型的成本比较高，不太适用于大规模的时间序列异常检测场景；
2.对周期型的曲线效果比较好，如果是毛刺型的数据，有可能就不太适用；因为长期的毛刺型数据就可以看成正常的数据了。
3.每次调参需要人为设置一定的阈值，不同的时间序列所需要的阈值是不一样的。

2019/3/9

用Azure和scikit-learn堆栈实时传感器异常检测

首先是对自己的经历介绍：
0:00 ~5:26 介绍了自己之前的的工作污水处理，并附上了之前他们团队的处理方法，使用Iot传感器。
5:26~ first using Azure Machine Learning .
微软机器学习Azure Machine Learning入门概览

最低0.47元/天 解锁文章
一周三更
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用自编码器与lstm预测金融时间序列
04-18
首先、wt（小波分析）过滤噪声 然后 saes（自编码器）提取强特征 最后用lstm进行学习训练
python 异常检测模型_基于RNN时间序列的异常检测器模型在Pytorch中实现
weixin_39958137的博客
12-08 757
RNN-Time-series-Anomaly-DetectionRNN based Time-series Anomaly detector model implemented in Pytorch.This is an implementation of RNN based time-series anomaly detector, which consists of two-stage st...
故障识别：DBN深度置信/信念网络的数据分类预测/故障识别算法MATLAB代码
Matlab_dashi的博客
03-03 1433
变压器是电力系统中至关重要的设备，其故障会造成严重后果。因此，对变压器故障进行准确诊断至关重要。本文提出了一种基于深度置信网络（DBN）的变压器故障诊断方法。DBN是一种深度学习模型，具有强大的特征提取能力。通过使用DBN，可以从变压器运行数据中提取高层特征，从而提高故障诊断的准确性。引言变压器故障诊断是电力系统维护中的一个重要课题。传统的变压器故障诊断方法主要基于人工经验和统计分析，存在准确性低、鲁棒性差等问题。近年来，随着深度学习技术的兴起，基于深度学习的变压器故障诊断方法得到了广泛的研究。方法。
用自编码器实现信用卡数据集的异常检测(详细)，Pytorch版本
m0_54381840的博客
11-26 5388
1.自动编码器(Auto encoder) 自动编码器(au toencoder) 是神经网络的一种，该网络可以看作由两部分组成：一个编码器和一个生成重构的解码器)。传统上，自动编码器被用于降维或特征学习。其为非线性降维，传统的如：PCA，为线性降维。 自编码器结构如下图所示，编码器来实现维度的压缩，解码器实现维度的恢复重构。 自编码器可用于：训练深度学习网络、压缩、分类以及异常检测等，本文主要是异常检测的应用。 2.数据集 本文采用公开数据集，信用卡用户的异常检测。链接如下：链接：ht...
time-series-autoencoder:Pytorch双注意LSTM自动编码器，用于多元时间序列预测
05-01
注重多元时间序列的LSTM自动编码器 该存储库包含用于多变量时间序列预测的自动编码器。 它具有描述的两种注意力机制，并且受启发。 下载和依赖项 要克隆存储库，请运行： git clone https://github.com/JulesBelveze/time-series-autoencoder.git 要安装所有必需的依赖项，请运行： pip install -r requirements.txt 用法 python main.py [-h] [--batch-size BATCH_SIZE] [--output-size OUTPUT_SIZE] [--label-col LABEL_COL] [--input-att INPUT_ATT] [--temporal-att TEMPORAL_ATT] [--seq-le
lstm自动编码器以进行异常检测：使用LSTM自动编码器检测异常并对稀有事件进行分类
02-21
LSTM异常检测自动编码器 使用LSTM自动编码器检测异常并对稀有事件进行分类。 如此多次，实际上是现实生活中的大多数数据，我们都有不平衡的数据。 数据是我们最感兴趣的事件，很少见，不像正常情况下那么频繁。 例如，在欺诈检测中。 大多数数据是正常情况，无论数据是否已标记，我们都希望检测异常或何时发生欺诈。 处理未标记的数据时，我们通常会使用“异常值检测”方法，例如，基于聚类的局部离群值因子（CBLOF） ，基于直方图的离群值检测（HBOS）等。而标记的数据被视为“分类”问题和分类器，如和。 但是，由于正数据点在数据中很少见，因此该算法发现很难从数据中学到很多东西。 例如，分类器通常最终会在所有情况下都预测为“负”，以实现最佳准确性。 在这里，我们将研究可用于有监督和无监督以及罕见事件分类问题的另一种方法。 长短期记忆自动编码器。
在PyTorch中使用 LSTM 自动编码器进行时间序列异常检测
AI蜗牛车
06-22 3082
写在前面环境准备本次数据集的格式.arff，需要用到arff2pandas模块读取。#!nvidia-smi #!pipinstall-qqarff2pandas #!pipinstall-q-Uwatermark另外本次运行环境可通过如下方法查看。%reload_extwatermark %watermark-v-pnumpy,pandas,...
Pytorch深度学习实战（1）—— 使用LSTM 自动编码器进行时间序列异常检测
sikh_0529的博客
11-19 7485
请注意，我们使用的批量大小为 1（我们的模型一次只能看到 1 个序列）。我们将构建一个 LSTM 自动编码器，在一组正常的心跳上对其进行训练，并将看不见的示例分类为正常或异常。我们取得了非常好的结果。虽然我们的时间序列数据是单变量的（我们只有 1 个特征），但代码应该适用于多变量数据集（多个特征），几乎不需要修改。在本教程中，您学习了如何使用 PyTorch 创建 LSTM 自动编码器，并使用它来检测 ECG 数据中的心跳异常。我们需要将我们的示例转换为张量，以便我们可以使用它们来训练我们的自动编码器。
自编码器AutoEncoder解决异常检测问题
热门推荐
Eli_Code
03-23 2万+
一、 自编码器（Auto-Encoder）介绍 1. AE算法的原理 2. AE算法的作用 3. AE算法的优缺点 二、 自编码器AutoEncoder解决异常检测问题（手把手写代码） 1. 关于数据集准备 2. 数据预处理 3. 建立自编码模型 4. 训练模型 5. 查看模型的“认知水平” 6. 对测试集进行异常诊断 7. 完整源代码 8. 总结 三、 附录 1. 关于 `os.path.join()` 2. 关于 sns.set (Seaborn 绘图风格设置) 3. 关于 `preprocessing
lstm自动编码器进行时间序列异常检测
weixin_26729841的博客
09-02 1万+
人工智能与异常检测(Artificial Intelligence and Anomaly Detection) Anomaly provides evidence that actual results differ from predicted results based on ML models. We are talking about price prediction and how M...
Recurrent-Autoencoder:基于递归神经网络的时间序列异常检测自动编码器
04-18
基于递归神经网络的自动编码器 PyTorch实现， 目录： 项目结构： 项目结构基于以下 ├── agents | └── rnn_autoencoder.py # the main training agent for the recurrent NN-based AE ├── graphs | └── models | | └── recurrent_autoencoder.py # recurrent NN-based AE model definition | └── losses | | └── MAELoss.py # contains the Mean Absolute Error (MAE) loss | | └── MSELoss.py # contains the Mean Squared Error (MSE) loss ├── datasets
颜色分类leetcode-timeseries-clustering-vae:pytorch中用于时间序列聚类的变分循环自动编码器
07-06
颜色分类leetcode 时间序列聚类 时间序列聚类是一项无监督学习任务，旨在将未标记的时间序列对象划分为同质的组/集群。 与其他集群中的时间序列相比，同一集群中的时间序列彼此更相似 该算法能够： 识别跨序列的联合动态 消除序列间的滞后（时移）（通常称为滞后不变性） 生成可解释的特征。 一般来说，时间序列聚类算法有两种类型： 基于特征- 使用特征提取转换原始数据，在生成的特征之上运行聚类 基于原始数据- 直接应用于时间序列向量，无需任何空间变换 变分循环自动编码器 (VRAE) VRAE 是一种基于特征的时间序列聚类算法，因为基于原始数据的方法受到维数灾难的影响，并且对嘈杂的输入数据很敏感。 中间的瓶颈层将作为整个输入时间序列的特征表示。 建筑学 网络 从这里开始，RNN 指的是循环神经网络架构，即 LSTM/GRU 块。 我们的模型主要由四个块组成 编码器：输入向量序列被馈送到 RNN，最后一个隐藏层h_end从 RNN 中提取并传递到下一层 编码器到潜在层： h_end通过使用线性层映射到均值和标准差 给定均值和标准差。 偏差，在训练期间执行重新参数化。 这实质上意味着从由其均值和
使用PyTorch完成事情：Jupyter Notebook教程，介绍如何使用PyTorch解决机器学习和深度学习中的实际问题。 主题：用Detectron进行人脸检测2，使用LSTM自动编码器进行时间序列异常检测，使用YOLO v5进行对象检测，构建您的第一个神经网络，对日冕病毒日常病例进行时间序列预测，使用BERT进行情感分析
02-03
使用PyTorch完成SH * T 了解如何使用深度学习模型（NLP，计算机视觉和时间序列）解决现实问题。 从原型制作到使用PyTorch和Python进行部署！ :open_book: 免费阅读 可以使用以下链接阅读整本书。 每个部分都包含一个笔记本，您可以在此存储库中找到该笔记本。 如果您想支持我的工作，请考虑购买这本书。 感谢您的光临！ :hugging_face:
基于精简 C 语言的 C-MIPS 编译器(编译原理实验)【100012256】
05-18
本实验为实现一个小型的 C 语言到 MIPS 汇编语言的编译器，需要完成以上所有步骤并验证测试正确。实验需要选择一个合适的 C 语言子集，能够体现 C 语言基本语法，特有关键字等，同时要能在这个子集的基础上写出具有...
FaultMap:基于图和信息论的历史时间序列数据故障检测和诊断
05-30
故障图介绍FaultMap是一个数据驱动的，无模型的过程故障检测和诊断工具。 过程要素之间的因果关系是使用信息论测度（传递熵）来确定的。 然后，这些链接用于创建流程元素之间的主要信息流（干扰等）的可视化表示，...
BigVAR:多元时间序列的降维方法
05-15
大VAR 稀疏高维多元时间序列建模工具有关该软件包功能的演示，请参阅最近更新的或的用户指南。 注意：此软件包使用C ++ 11，因此它需要具有C ++ 11支持的编译器（应该包括大多数现代编译器）和R的更高版本（版本3.1...
预测招商银行股票涨跌幅度（时间序列完整步骤）
11-25
本代码主要思路是利用ARIMA算法做时间序列预测 # 预测目标是2019年5月15日A股闭市时招商银行600036的股价 # 考虑到影响股价的因素的复杂性，以及金融投资的反身性理论，本次预测只使用了close的时间序列。更多的数据...
基于lccp与边缘检测的三维点云分割方法源码+项目说明.zip
最新发布
04-09
基于lccp与边缘检测的三维点云分割方法源码+项目说明.zip ## 环境概览 ### 测试环境 系统：win10 编译器：MSVC2017 64bit、cmake 3.5 第三方库：pcl 1.9.1、boost 1.6.8、opencv 4.2.0、yaml 0.6.0 实例分割网络...
利用自动编码器进行时间序列预测pytorch代码
03-31
这是一个简单的利用自动编码器进行时间序列预测的 PyTorch 代码示例。 ```python import torch import torch.nn as nn import torch.optim as optim # 定义自动编码器模型 class AutoEncoder(nn.Module): def __init__(self): super(AutoEncoder, self).__init__() self.encoder = nn.Sequential( nn.Linear(10, 5), nn.ReLU() ) self.decoder = nn.Sequential( nn.Linear(5, 10), nn.ReLU() ) def forward(self, x): x = self.encoder(x) x = self.decoder(x) return x # 定义时间序列数据 data = torch.tensor([[1, 2, 3, 4, 5, 6, 7, 8, 9, 10], [2, 3, 4, 5, 6, 7, 8, 9, 10, 11], [3, 4, 5, 6, 7, 8, 9, 10, 11, 12], [4, 5, 6, 7, 8, 9, 10, 11, 12, 13]], dtype=torch.float32) # 初始化模型 model = AutoEncoder() # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) # 训练模型 for epoch in range(1000): optimizer.zero_grad() outputs = model(data) loss = criterion(outputs, data) loss.backward() optimizer.step() if epoch % 100 == 0: print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, 1000, loss.item())) # 预测未来的时间序列 future_data = torch.tensor([[11, 12, 13, 14, 15, 16, 17, 18, 19, 20]], dtype=torch.float32) predicted_data = model(future_data) print('Predicted data:', predicted_data.detach()) ``` 在这个例子中，我们使用了一个简单的自动编码器模型来预测时间序列数据。我们首先定义了一个包含一个编码器和一个解码器的自动编码器模型。编码器将 10 维的输入数据压缩到 5 维，解码器将 5 维的数据重构为 10 维输出数据。然后，我们定义了一个包含 4 个时间步的时间序列数据作为训练数据，训练模型以最小化预测数据和实际数据之间的均方误差。最后，我们使用训练好的模型来预测未来的时间序列数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值