深度学习(13): Anomaly Detection(异常侦测)

最新推荐文章于 2024-05-09 07:15:00 发布
最新推荐文章于 2024-05-09 07:15:00 发布
阅读量811 收藏
点赞数 1
文章标签： python 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51182518/article/details/112879476
版权

Anomaly detection(异常侦测)

让机器可以知道我不知道这件事情

Problem Formulation

定义一个函数侦测输入的数据集x和训练集的相似度

在这里插入图片描述

不一定detect不好的东西，只是找和训练资料不一样的东西。

Different approaches use different ways to determine the similarity

What is Anomaly？

取决于你提供给机器的训练资料

在这里插入图片描述

Applications

  • Fraud Detection training data：正常刷卡，x：盗刷
  • Network Intrusion Detection training data：正常联系，x：攻击行为？
  • Cancer Detection Training data：正常细胞，x：癌细胞

Binary classification？

Train a binary classifier
在这里插入图片描述
并没有那么简单，很难把异常侦测视为普通的二分类问题

在这里插入图片描述
不属于训练集的数据太多了，无法把这些异常的资料都定义为一个class，异常的资料变化太大了，很难collect 异常的data。

Categories

在这里插入图片描述

有label的：

利用labeled data训练出一个classifier
所有的label里都没有unknown，但希望classifier对于x不在training data里的输出一个unknown类别。
叫做open-set recognition

没有label的：
  • clean：所有的训练集都是normal
  • polluted：有一些训练集的数据是异常的

Case 1：with classifier

每一个training data的x都有一个label值

在这里插入图片描述

how to use the classifier

不止做分类，还会output一个信心分数 C

当信心分数小于threshold时，该输入x可当作一个异常点

在这里插入图片描述

最低0.47元/天 解锁文章
weixin_51182518
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
人工智能-机器学习：Anomaly Detection（异常检测）
u013250861的博客
12-28 2839
Anomaly Detection，也叫做 异常检测，目的在于让机器知道我所不知道的事情。 - 虽然说是 异常，但其实是以训练集为核心，判断输入数据是否与训练集中的数据 “类似”。 - Anomaly Detection 在不同的领域可以有不同的叫法，比如：outlier Detection，novelty Detection，exceptions Detection。 - 至于什么才是“类似”，它的定义这取决于你所用的方法。如下图所示，如果你给的训练集只有雷丘，那么比卡丘就是“异常”；相反，如果你给的训练
深度学习IM-IAD工业图像缺陷检测框架学习
11-13
使用趋动云平台复现论文源码IM-IAD: Industrial Image Anomaly Detection Benchmark in Manufacturing主要针对工业领域CV方向异常检测现阶段最先进的方法，构建一套统一开源框架便于后续研究者开发与使用，本文主要记录学习应用的过程，中间存在很多不妥之处，还望批评指正。整体架构流程 1. 获取源码 2. 创建训练环境 3. 配置环境 4. 制作镜像 5. 代码调试 6. 结果可视化 简单背景下模型输出效果还是可以的，具体实现细节后续进行补充。 通过该代码可以学到现阶段相对效果最好的缺陷检测在工业领域内深度学习缺陷检测模型以及优秀的代码框架，便于后续的开发与扩展，在上手过程中可以学习到优秀的代码分割与各种命令使用技巧，适合新手的快速上手，以及不断强化自己的代码阅读能力与代码的理解能力，培养自己的逻辑思考能力，其中涉及到的多款检测模型与可视化方法，可以根据自己的需求进行快捷的修改与改进，也可以将各个模型的框架方便的提取出来，便于其他场景的应用与开发，扩展性强，遇到问题可以在相关评论区进行留言，我们可以进行详细的讨论。
数据科学——异常检测（Anomaly Detection）
最新发布
weixin_43156294的博客
05-09 1011
异常检测，也被称为异常发现或离群点检测，是数据挖掘领域中的一个重要分支。它的目标是在数据集中识别出与大多数数据点显著不同的数据点，这些数据点被称为异常点或离群点。异常检测在许多领域都有应用，包括金融欺诈检测、网络安全、系统健康监测、信用卡欺诈检测、医疗诊断、机器故障预测等。
李宏毅深度学习笔记（十）Anomaly Detection（异常检测）
comli_cn的博客
11-15 1596
简单来说异常检测就是在一大堆数据中将正常的数据和异常的数据分开，把异常数据检测出来。具体方法就是通过训练集训练出一个可以用来做分类的函数。在进行异常检测的时候所提供的训练集有下面几种类型： 1、训练集里面的样本都有标记，如果在测试集里根据分类函数分出来的某个样本不属于训练集里的任何一个类别则判定该样本为未知； 2、训练集里所有样本均为正常样本； 3、训练集里存在少许异常样本，但大多数均为正常样本，...
时间序列-异常检测（Anomaly Detection）（四）：深度学习方法
u013250861的博客
03-19 4513
一、概述 基于深度学习的时间序列异常检测算法，主要可以分为以下这么几种： 针对正常数据进行训练建模，然后通过高重构误差来识别异常点，即生成式（Generative）的算法，往往是无监督的，如自编码器（Auto Encoder）类 或者回声状态网络（Echo State Networks）。 对数据的概率分布进行建模，然后根据样本点与极低概率的关联性来识别异常点，如DAGMM 通过标注数据，告诉模型正常数据点长什么样，异常数据点长什么样，然后通过有监督算法训练分类模型，也称判别式（Discriminativ
异常检测（Anomaly Detection）
Flare_J 的博客
03-08 7950
异常检测（Anomaly Detection）1. 异常检测的定义2. 异常检测的分类2.1 按照应用目标数据分类2.2 按照异常类型分类2.3 按照数据标签可用性分类3. 异常检测的使用 1. 异常检测的定义 异常检测，是一种用于识别不符合预期行为的异常模式的技术，称为异常值。通常为无监督学习问题，其中先验未知异常样本，并且假定大多数训练数据集由 “ 正常 ” 数据组成。 通常，异常检测也称为 Novelty Detection 或 Outlier Detection，Forgery Detection
AnoDDPM: Anomaly Detection with Denoising DiffusionProbabilistic Models using Simplex Noise论文学习
weixin_54859023的博客
11-14 3329
AnoDDPM
异常检测(无监督，生成模型)—SimpleNet: A Simple Network for Image Anomaly Detection and Localization
weixin_62848630的博客
04-18 4947
1.一个预训练(在imageNet上预训练)的特征提取器，生成本地特征。3.一个简单的异常特征生成器，通过向正常特征添加高斯噪声来伪造异常特征。4.一个二分类异常鉴别器，将异常特征与正常特征区分开来。2.一个浅层特征适配器，将本地特征转移到目标域。
2020李宏毅机器学习笔记——24. Anomaly Detection（异常侦测）
weixin_44790306的博客
08-28 906
Anomaly Detection（异常检测） 文章目录摘要1. 介绍Anomaly Detection1.1 Problem Formulation（问题简要）1.2 What is Anomaly? 摘要 1. 介绍Anomaly Detection 1.1 Problem Formulation（问题简要） 1.2 What is Anomaly?
前沿科技探究之AI工具：Anomaly-detection
Gauss松鼠会
03-30 6047
概述 anomaly_detection是openGauss集成的、可以用于数据库指标采集、预测指标趋势变化、慢SQL根因分析以及异常监控与诊断的AI工具，是DBMind套间中的一个组件。支持采集的信息分为三块，分别是os_exporter、database_exporter、wdr，os_exporter主要包括IO_Read、IO_Write、IO_Wait、CPU_Usage、Memory_Usage、数据库数据目录磁盘空间占用Disk_space；database_exporter主要包括QPS、部
异常检测 | 基于Siamese网络学习距离函数来定位视频中的异常
LiRongLu_的博客
04-18 3597
关于Learning a distance function with a Siamese network to localize anomalies in videos论文学习 作者通过训练一个 Siamese 神经网络，将手工制作的表示和距离函数替换为学习的表示和距离函数，建立了简单的最近邻方案．Siamese 网络通过训练将视频块对分类为相似或不同，并用来找到与所有训练视频块不同的测试视频块，因此判定是异常的．从目标数据集的训练数据中学习一个样本模型......
Anomaly Detection_A Survey
05-02
异常检测的综述：Anomaly detection is an important problem that has been researched within diverse research areas and application domains. Many anomaly detection techniques have been specifically developed for certain application domains, while others are more generic. This survey tries to provide a structured and comprehensive overview of the research on anomaly detection.We have grouped existing techniques into different categories based on the underlying approach adopted by each technique.
Awesome-anomaly-detection-baseline:异常检测基准
05-24
令人敬畏的异常检测基准 [目录] 背景 回购在属性图上复制了异常检测算法的基线。 要求 Python3 火炬== 1.4.0 scikit-learn == 0.22.2.post1 numpy == 1.18.5 网络x == 2.4 返回值 召回@K 精度@K AUC值 示例...
异常检测论文概述：SDFVAE: Static and Dynamic Factorized VAE for Anomaly Detection
08-07
2021异常检测论文ppt
matlab代码影响-anomaly_detection:异常检测
05-22
matlab代码影响################################################ ################################################ ########## 依存关系 该项目使用Python 2.7。 使用的所有模块都是Python标准库的一部分：...
anomaly_detection:使用 HMM 进行异常检测
07-02
＃安装＃ 要安装此程序，只需运行： $ gem build anomaly_hmm.gemspec$ sudo gem install anomaly_hmm#基于命令行# 使用来自.bash_history 的命令行，没有参数和选项来为特定用户训练 HMM。 然后，每10条用户发出的...
【论文分享】深度异常检测综述（Deep Learning for Anomaly Detection: A Review）-中
vector的博客
08-24 2938
在上一次的论文分享中????https://blog.csdn.net/qq_39328436/article/details/118582785我们介绍了深度异常检测以及其复杂性与挑战。在这个一次的论文分享中，我要介绍“深度异常检测”的几个类别，也可以说是几个重点的研究方向。一共涉及三个大类以及11个小类，本次会对这11个类别展开介绍，重点介绍特征，原理，研究路线，优点，缺点，以及他们所应对的挑战。需要提前说明的是，本次并不对每个方法的进行详细的逻辑推导和证明（毕竟是综述性质的论文，主要的目的还是从整体上
论文翻译：Deep Learning for Anomaly Detection: A Review，异常检测的深度学习:回顾
com_fang_bean的博客
07-27 4545
异常检测，又称离群点检测，几十年来一直是各个研究领域中一个持续而活跃的研究领域。仍然有一些独特的问题、复杂性和挑战需要先进的方法。近年来，深度学习使得异常检测成为可能。深部异常探测，已成为一个关键方向。本文综述了深度异常检测方法的研究进展，并对检测方法进行了综合分类，包括三个高级分类和三个高级分类11种方法的细粒度分类。我们回顾了他们的主要直觉、目标功能、基本假设、优势和劣势，并讨论了他们如何应对上述挑战。我们进一步讨论了一系列未来可能的机遇和应对挑战的新观点。 异常检测，...
panda: adapting pretrained features for anomaly detection and segmentation
04-08
'b'panda:适应预训练特征进行异常检测和分割'是一种机器学习技术，其利用预训练的特征来进行图像的异常检测和分割。该技术可用于各种领域，如医学影像分析、工业检测等。通过利用先前经验得到的预训练特征，可以提高...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值