（二）Lifelong Disk Failure Prediction via GAN-based Anomaly Detection（2019-IEEE）

最新推荐文章于 2023-12-15 16:29:00 发布
最新推荐文章于 2023-12-15 16:29:00 发布
阅读量1k 收藏 6
点赞数 7
分类专栏： 论文解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WangZixuan1111/article/details/104993353
版权

内含动画的PPT已经上传，可以在我上传的资源里看到，可免费下载

该篇论文主要围绕“硬盘故障+数据可靠性+SMART（自我监测分析报告技术）+对抗训练+异常检测”展开，以下是我学习该篇论文的理解分析及收获，如有不正确的地方，敬请批评指正

文章目录

一、论文概括
  1. 研究对象
  2. 目标
  3. 方法
  4. 结论
    在这里插入图片描述
二、相关研究工作
  1. SMART
    好坏磁盘的SMART对比
  2. 前人的研究方向：提高FDR

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三、论文主体

  1. 结构及模型分析

  2. 数据处理过程

    • 特征选择
    • 2D SMART属性构造
    • 归一化

  3. 基于GAN的磁盘故障预测训练过程

    • GAN用于异常检测
    • GAN用于故障预测
      • 样本打标签问题
      • 模型老化问题

  4. 基

    结构及模型在这里插入图片描述在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

四、与《一种硬盘故障预测的非监督对抗学习方法》论文比较

在这里插入图片描述

04-图片篇.pptx
11-20
04-图片篇.pptx
GAN-based-data-augmentation-for-improved-hate-speech-detection:SeqGAN数据扩充
03-13
基于GAN的数据增强，可改善仇恨语音检测 SeqGAN数据增强用于改善仇恨语音检测，我们将SMOTE过采样方法用作基准。 我们还使用了四个训练有素的分类器-SVM，LSTM，BERT，Logistic回归。 要求 Tensorflow 1.15.0 Python 3.7 分类模型 如果要使用分类模型，请直接单击分类模型文件夹，在其中您将看到两个.ipynb文件，其中包含所有4个分类模型。 模型中使用的csv格式的训练集，测试集和验证集可以在数据集文件夹中看到。 SMOTE过采样 如果要实现SMOTE过采样，则只需打开SMOTE Oversamling文件夹。 其中也有两个.ipynb文件，它们是SMOTE算法之后的4个分类模型的结果。 点击任何文件，可以看到实现SMOTE的具体方法，需要注意的是SMOTE算法只能用于不平衡数据集。
Lifelong Disk Failure Prediction via GAN-based Anomaly Detection.pdf
11-03
基于GAN的半监督学习，SMART数据图像化，模型更新 模型输入为1D的SMART特征——x箭头，当前磁盘的状态——y，1D的SMART特征数据集——S，2D的SMART特征集——S’ 模型输出为预测的结果——y’ 另：x箭头’代表的是出队后带标记的老样本，X代表队列转换的2D特征 ——如果磁盘判为异常，那么删除整个磁盘的数据，认定这些数据为正类（异常数据） ——否则，磁盘处于工作状态，当存储磁盘Di
Lifelong Disk Failure Prediction via GAN-based Anomaly Detection
程序猿进化梯
11-05 634
论文来源：ICDD 作者：jiangtianming 华中科技大学 Email:jiangtianming@hust.edu.cn 注：本篇论文已上传到资源，需要的童鞋可免费下载。 前面发的两篇论文分析访问量比较低，这一篇我希望用自己的语言来把文章的思想说清楚。请君仔细阅读。 目录0、论文方法一、时序特征二、数据预处理1、选取特征2、二维特征3、正则化模型1、模型老化问题2、样本标记 0、论文方法 以上的方法其实也说明白了异常检测的思路。首先进行数据预处理，将SMART数据映射到类似图像的二维数据.
Unsupervised Anomaly Detection with GAN
11-22
Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker DiscoveryUnsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery
机器学习实践(一)：用KNN进行磁盘故障预测
buchidanhuang的博客
07-30 6713
问题：磁盘故障预测(Disk Failure Prediction) （一）背景和说明   在大规模IDCS和云计算环境中，各种磁盘故障并不少见。幸运的是，我们有S.M.A.R.T.(自监控、分析和报告技术；通常以智能方式编写),从计算机硬盘驱动器(HDDs)、固态驱动器(SSDs)和eMMC驱动器收集的日志，这些日志和检测报告各种驱动器可靠性指标，目的是预测硬件故障。自2013年以来，Backb...
Ceph入门到精通-Ceph Pacific 版本磁盘预测模块
最新发布
隔壁老瓦的专栏
12-15 837
磁盘预测模块利用 Ceph 设备运行状况检查来收集磁盘运行状况指标，并使用内部预测器模块生成磁盘故障预测并返回到 Ceph。它不需要任何外部服务器进行数据分析和输出结果。其内部预测器的准确率约为70%。
cvpr2015papers
ZhangPY的专栏
03-02 9110
@http://www-cs-faculty.stanford.edu/people/karpathy/cvpr2015papers/ CVPR 2015 papers (in nicer format than this) maintained by @karpathy NEW: This year I also embedded the (1,2-gram) tfidf
Lifelong GAN: Continual Learning for Conditional Image Generation
ysh的博客
09-15 849
ICCV 2019 | Lifelong GAN：基于持续学习的条件图像生成模型
anomaly detection学习笔记（自用）
smallbig12的博客
06-29 3302
记录一下学习anomaly detection的学习过程以及每日计划。
异常检测 anomaly detection
GhostLWB的博客
12-21 1493
异常检测的应用 欺诈检测 工业质量监测 计算机集群监测 等等 定义 给定一些数据集D={x1,x2,…,xm}D=\{x_1,x_2,\dots,x_m\}D={x1​,x2​,…,xm​},注意这些样本是unlabel的，构建一个模型p(x)p(x)p(x)，对于一个新的样本xtestx_{test}xtest​，判断该样本是否异常。当p(xtest)≤ϵp(x_{test})\le \ep...
（一）一种硬盘故障预测的非监督对抗学习方法（2019-西安电子科技大学学报）
WangZixuan1111的博客
03-20 1433
该篇论文主要围绕“异常检测+硬盘故障预测+GAN+非监督”展开，以下是个人对整篇文章脉络的整理和理解。 文章目录一、论文概括二、相关的研究三、论文主体——提出基于LSTM的非监督对抗学习方法 一、论文概括 研究对象 目的 方法 结论 结果 二、相关的研究 方法及问题 问题的原因分析 前人的具体研究方法和结果 三、论文主体——提出基于LSTM的非监督对抗学习方法 异常检测流程 作者所...
第七篇论文.pptx
04-16
《Outlier Detection for Time Series with Recurrent Autoencoder Ensembles 基于递归自编码集成的时间序列离群点检测》
汪子璇（四）3.20.pptx
03-25
这是我3.13-3.20这一周的学习情况，学习李宏毅老师的几个深度学习视频，同时我在学习两篇论文《一种硬盘故障预测的非监督对抗学习方法》和《Lifelong Disk Failure Prediction via GAN-based Anomaly Detection》后的一个文章脉络及内容分析，也就是总结收获啦，PPT的图片档已经上传至博客中，大家可以翻看到，但是会有不少动画在PPT中帮助理解，如果需要，下载PPT就好了，如有不对的地方，请指正，共同学习进步
第一、二篇论文.pptx
04-16
是第一篇、第二篇论文的PPT，打开可以看到动画版的，可能更直观一些。 《一种硬盘故障预测的非监督对抗学习方法》和《Lifelong Disk Failure Prediction via GAN-based Anomaly Detection》
【翻译】DFPE: Explaining Predictive Models for Disk Failure Prediction DFPE: 解释磁盘故障预测模型
weixin_36909758的博客
08-02 1587
【翻译】DFPE: Explaining Predictive Models for Disk Failure Prediction DFPE: 解释磁盘故障预测模型Abstract 摘要1.Introduction 介绍2.BACKGROUND AND RELATED WORK 背景和相关工作A.Notation list 注释列表B.Disk failure prediction 磁盘故障预测C.Abstraction for disk failure predictive models 磁盘故障预测模
终身机器学习（Lifelong Machine Learning）
lanyuxuan100的博客
05-14 2717
终身机器学习三位大牛并附上他们的个人主页链接： Daniel L.Sliver:此人是先驱级的人物，早期理论的奠基人 http://plato.acadiau.ca/courses/comp/dsilver/DLSWebSIte/Welcome.html 杨强:此人曾在华为诺亚方舟研究所工作，从事这个方向的研究，现在在香港执教 http://www.cs.ust.hk/~qyang/ Eric
self-attention gan 代码_GAN+异常检测
weixin_39707851的博客
10-28 1415
本文主要调研一下gan在异常检测的方法。训练阶段： 可以通过网络仅仅学习负样本（正常数据）的数据分布，得到的模型G只能生成或者重建正常数据。测试阶段： 使用测试样本输入训练好的模型G，如果G经过重建后输出和输入一样或者接近，表明测试的是正常数据，否则是异常数据。模型G的选择： 一个重建能力或者学习数据分布能力较好的生成模型，例如GAN或者VAE，甚至encode...
PAKDD2020 阿里巴巴智能运维算法大赛 总结（初赛33，决赛19）
Wisley的读书笔记分享
04-29 4053
赛题地址:PAKDD2020 阿里巴巴智能运维算法大赛-大规模硬盘故障预测 Githun代码地址：初赛+复赛 问题描述 给定一段连续采集(天粒度)的硬盘状态监控数据（Self-Monitoring, Analysis, and Reporting Technology; often written as SMART)以及故障标签数据，参赛者需要自己提出方案，按天粒度判断每块硬盘是否会在未来30日内...
深度终身学习共享知识的DF-CNN：IJCAI2019论文matlab代码解析
2. 深度终身学习（Deep Lifelong Learning）: 深度终身学习是一个研究领域，其目标是设计出能够在一系列不同任务中学习，同时保持和更新先前学习的知识和技能的系统。这种学习方式模仿了人类学习的过程，即不断学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是肉球哇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值