【深度学习】李宏毅2021/2022春深度学习课程笔记 - Anomaly Detection（异常侦测）

已于 2023-05-29 23:23:43 修改
阅读量2w 收藏 3
点赞数 1
分类专栏： # 深度学习 人工智能 文章标签： 深度学习 人工智能 算法 异常侦测
于 2023-01-07 08:54:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51545953/article/details/128473929
版权

文章目录

一、Problem Formulation

假设我们现在有N个训练资料，异常侦测要做的就是给定一个输入x，判断它是否和N个训练资料相似，如果不相似，可能就是异常资料

在这里插入图片描述

二、What is Anomaly？

如果训练资料是雷丘，那么皮卡丘就是异常的
如果训练资料是皮卡丘，那么雷丘就是异常的
如果训练资料是神奇宝贝，那么数码宝贝就是异常的

在这里插入图片描述

三、Applications

诈欺侦测：检测刷卡行为是否异常

在这里插入图片描述

网络攻击侦测：检测来访的请求是否异常

在这里插入图片描述

癌细胞侦测：检测是否出现癌细胞

在这里插入图片描述

四、Binary Classification？

做异常侦测最直觉的想法就是把它当作二分类问题来做，异常或者非异常。如下图所示

在这里插入图片描述

但是把异常侦测当作二分类问题来做有一个问题，就是异常能够被当作一个类别吗？假设正常资料是神奇宝贝，那么异常的资料可能是数码宝贝，可能是茶壶，总之可能是非神奇宝贝的任何类别。也就是说异常这个类别包括的范围太大了，只要不是神奇宝贝都可以视作异常。所以，通常来说，我们不能将异常侦测问题当作简单的二分类问题来解。

在这里插入图片描述

五、Categories

异常侦测的分类如下：

  • 有标签的训练数据
  • 无标签的训练数据
    • 所有训练数据都是正常的
    • 小部分训练数据是异常的

在这里插入图片描述

六、Case 1：With Classifier

Case 1：检测数据是不是来自辛普森家庭

在这里插入图片描述

并且，训练数据还是有标签的

在这里插入图片描述

输出预测的类别和置信分数，如果置信分数低于设定的阈值，则说明是异常数据

在这里插入图片描述

怎么确定置信分数呢？最简单的方法就是，拿输出的类别概率分布中最大的概率值作为置信分数。

在这里插入图片描述

做一下测试发现，网络对辛普森家庭的成员输出的置信分数较大，而对于非辛普森家庭的成员输出的置信分数较小

在这里插入图片描述

当然也有例外

在这里插入图片描述

当然，我们也可以让网络直接输出置信分数和类别概率分布，如下图所示

在这里插入图片描述

训练资料：标签为属于辛普森家庭的哪个人物的图片
验证资料：标签为是否属于辛普森家庭的图片
测试资料：没有标签的图片，直接预测其是否属于辛普森家庭

在这里插入图片描述

下面进行模型的评估。

在这里插入图片描述

在异常侦测任务中，我们往往不会拿正确率来衡量模型的好坏，因为异常数据的数量往往是比较少的，所以，即使模型将所有数据都认定为非异常的数据，算出来的正确率也是很高的

在这里插入图片描述

其他评价方法：AUC曲线、混淆矩阵

在这里插入图片描述

当然，异常侦测也会遇到挑战，比如当正常资料是猫的时候，给定一个老虎的图片，模型很可能会认为老虎是猫，因为老虎和猫确实是有相似的地方的。

在这里插入图片描述

另外，辛普森家庭的人脸特征就是黄色，如果我们将需要侦测异常的图片涂上一些黄色，那么模型就会给出很高的置信分数，因为模型可能认为只要有黄色的头发或者脸就大概率是辛普森家庭的人物

在这里插入图片描述

当然有些方法可以解决这个问题，如下图所示。我们希望机器可以学习到在遇到异常数据的时候给出较低的置信分数。但是这样就要求我们在训练的时候拥有较多的异常数据，但是异常数据往往是难以获取的。于是，有人想出了一招，用生成式网络来生成虚假的异常数据不就可以了吗！这个想法真是太棒了，但是要注意，生成的异常数据不能和真实数据太像噢，否则会干扰真实数据的判断。

在这里插入图片描述

七、Case 2：Without Labels

如下图所示，是一个风靡一时的游戏，玩法就是很多玩家共同控制同一个角色进行游戏。

在这里插入图片描述

然而，人们相信，有一些小白藏在玩家之中，它们可能是由于不会玩这个游戏，导致按下的键会阻碍游戏的进程。在这个案例中，我们就希望通过异常侦测的手段，把这些小白的操作找出来。

在这里插入图片描述

由于训练数据是没有标签的，我们可以让模型输出一个实数，代表输入和训练数据的相似程度，当模型输出小于阈值时，则认为输入是异常的，否则输入是正常的

在这里插入图片描述

假设输入数据是一个二维向量，每个维度分别代表其说垃圾话的概率和在无政府状态下发言的概率。如下图所示，大部分人在无政府状态发言的概率较高，说垃圾话的概率较低。

在这里插入图片描述

假设数据来自一个概率密度函数f，它由参数 θ \theta θ控制，我们的目标就是找到一个参数 θ \theta θ使得似然函数值达到最大

在这里插入图片描述

假设概率密度函数为高斯分布，那么我们可以直接根据公式算出使得似然函数最大的参数

在这里插入图片描述

然后根据估计出来的参数，绘制数据x可能被该函数产生出来的概率热力图，颜色浅的地方说明由该概率密度函数产生出来的可能性小，也就代表很可能是异常数据

在这里插入图片描述

当然，我们还可以尝试为数据添加更多的特征，例如：跟大家一样的概率、唱反调的概率等

在这里插入图片描述

八、Use Auto-Encoder

我们可以用Auto-Encoder的技术进行异常侦测。我们知道，Auto-Encoder在训练时的目标是让输入和输出尽可能相近。由于训练数据大部分都是正常数据，所以训练好的Auto-Encoder模型就具备了对正常数据较强的编码和解码能力。但是，如果输入的是异常数据，Auto-Encoder的解码结果可能就会和输入相差甚远，我们可以根据这个现象来判断输入数据是否为异常数据。

在这里插入图片描述

九、More

在这里插入图片描述

WSKH0929
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
深度学习(13): Anomaly Detection(异常侦测)
JJJJJJames的博客
01-20 822
Anomaly detection(异常侦测) 让机器可以知道我不知道这件事情 Problem Formulation 定义一个函数侦测输入的数据集x和训练集的相似度 不一定detect不好的东西，只是找和训练资料不一样的东西。 Different approaches use different ways to determine the similarity What is Anomaly？ 取决于你提供给机器的训练资料 Applications Fraud Detection trainin
李宏毅——异常检测anomaly detection
shaoyue1234的专栏
09-17 940
李宏毅——异常检测异常检测问题什么是anomaly应用fraud detectionnetwork instrusion detectioncancer detection如何做异常检测binary classification？分类with label例子方法使用现成分类器：训练一个可以直接输出confidence的网络框架评估直接用分类器可能会遇到的问题without labels例子问题形式...
李宏毅深度学习笔记（十）Anomaly Detection（异常检测）
comli_cn的博客
11-15 1620
简单来说异常检测就是在一大堆数据中将正常的数据和异常的数据分开，把异常数据检测出来。具体方法就是通过训练集训练出一个可以用来做分类的函数。在进行异常检测的时候所提供的训练集有下面几种类型： 1、训练集里面的样本都有标记，如果在测试集里根据分类函数分出来的某个样本不属于训练集里的任何一个类别则判定该样本为未知； 2、训练集里所有样本均为正常样本； 3、训练集里存在少许异常样本，但大多数均为正常样本，...
2021 Anomaly Detection (李宏毅
linyuxi_loretta的博客
11-01 316
異常偵測就是、我們要讓機器可以知道、我不知道這件事情那在這門課裡面呢、我們通常用上標、來表示一個完整的東西、用下标，來表示一個完整東西的其中一個部份，novelty这个词汇， 顯然是要找一個新的東西，比较正面的意思什麼叫做像訓練資料呢、这就是Anomaly Detection里需要探讨的问题。不同的方法，它就用不同的方式來定義similar，这里强调一下，這個所謂的異常、我們到底要檢測出什麼東西、其實是取決於你提供給機器什么样的训练资料，
李宏毅机器学习26—Anomaly Detection
weixin_57178683的博客
06-20 503
Anomaly Detection 异常侦测 一、Anomaly Detection 首先有训练集x1到xn 我们希望找到一个函数，可以识别出输入x是不是近似于训练数据 如果x近似于训练数据，x就是正常的数据 X不近似于训练数据，那么x就是异常数据。 Anomaly指的是找出与训练数据不同的数据。 1.举例说明什么是Anomaly： 2.Anomaly Detection的应用: 1.对银行卡盗刷进行异常检测 2.对网络入侵、网络攻击进行异常检测 3.对...
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
李宏毅老师深度学习PPT
11-18
李宏毅老师在深度学习领域的教学资源深受业界好评，他的课程覆盖了多种先进技术，包括元学习、终身学习和强化学习等。 元学习，也称为学习学习，是一种使机器学习模型能够快速适应新任务的方法。在元学习中，模型...
李宏毅深度学习教程LeeDL-Tutorial-v.1.0.5
最新发布
01-10
《李宏毅深度学习教程LeeDL-Tutorial-v.1.0.5》是台湾大学《深度学习》课程的配套教学资料，由李宏毅老师及其团队编著。这份教程不仅包含理论知识，还注重实践方法，旨在帮助学习者掌握深度学习的基础与应用。教程在...
李宏毅2021机器学习深度学习笔记PPT作业
09-05
《李宏毅2021机器学习深度学习笔记PPT作业》是一份涵盖了现代人工智能领域核心知识的资源，主要集中在机器学习和深度学习这两个关键分支上。这份资料可能包括了李宏毅教授在2021年课程中的讲义、课后作业以及相关的...
李宏毅教授ML-2022Spring-HW1-SampleCode-TrainingData
01-17
2022年春季，台湾大学的李宏毅教授开设了一门面向深度学习（Deep Learning）和机器学习的课程，旨在让学生掌握这一领域的核心概念和技术。本篇将详细探讨该课程的第一次作业，包括提供的Sample Code和训练数据。 ...
【论文分享】深度异常检测综述（Deep Learning for Anomaly Detection: A Review）-中
vector的博客
08-24 2982
在上一次的论文分享中????https://blog.csdn.net/qq_39328436/article/details/118582785我们介绍了深度异常检测以及其复杂性与挑战。在这个一次的论文分享中，我要介绍“深度异常检测”的几个类别，也可以说是几个重点的研究方向。一共涉及三个大类以及11个小类，本次会对这11个类别展开介绍，重点介绍特征，原理，研究路线，优点，缺点，以及他们所应对的挑战。需要提前说明的是，本次并不对每个方法的进行详细的逻辑推导和证明（毕竟是综述性质的论文，主要的目的还是从整体上
机器学习（李宏毅）Lecture04 学习笔记（Anomaly Detection）
Xiao_yanling的博客
04-21 334
Anomaly Detection 设计一个函数能判断xxx是否与训练集{x1,...,xTx^1,...,x^Tx1,...,xT}中的训练数据相似。是一个二元分类问题。 应用 1.欺诈检测（Fraud Detection）。 2.网络系统入侵检测（Network Instrusion Detection）。 3.癌细胞检测（Cancer Detection）。 分类器信心分数（y值）做异常检测...
【机器学习】李宏毅——Anomaly Detection（异常检测）
FavoriteStar的博客
09-19 2822
本篇文章主要介绍了Anomaly Detection（异常检测）的思路具体实现方法，以及可能在实际应用中遇到的各种情况。
李宏毅异常检测笔记
博观约取，厚积薄发
04-19 3753
本文是李宏毅视频的笔记 1. 异常检测定义？ 给定一组训练数据 找到一个函数检测 输入 x 是否相似于训练数据。 不同的方法使用不同的方式决定相似性。 2. 应用领域 Fraud(欺诈)Detection Training data: 正常刷卡行为, 𝑥x: 盜刷？ Ref: https://www.kaggle.com/ntnu-testimon/paysim1/home Ref: https://www.kaggle.com/mlg-ulb/cre...
李宏毅（2020）作业10：异常检测（Anomaly Detection）
顾道长生的科研笔记
11-15 795
文章目录数据集目标数据作业KNNPCAAutoencoder评估 数据集 数据集下载test 数据集下载train 目标 Semi-supervised anomaly detection: 在只给定干净的（无anomaly）training data的情况下，分辨 testing data 中哪些 data 是来自 training 或是从未见过的类别 数据 Training: 某个 image dataset 的 training data (大小32323) 中的属于某些 label的d.
Anomaly Detection（异常检测）的原理及最新的技术应用（李宏毅视频课整理和总结）
双鸭山•克里菲斯•北方孤星之堕
08-22 3215
文章目录0 前言1 Introduction1.1 Problem Formulation1.2 Base Idea2 With Classifier2.1 Base Method2.2 Evaluation2.3 More2.3.1 Possible Issues2.3.2 Network for Confidence Estimation2.3.3 Obtain Anomaly3 Without Labels 0 前言 本节学习的是Anomaly Detection（异常检测），即让一个系统从数据中学
[李宏毅-机器学习]异常检测 Anomaly Detection
炼丹师
02-22 468
with label without label
深度学习如何跑视差图_图神经网络与深度学习在智能交通中的应用：综述Survey...
weixin_39820226的博客
11-21 191
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。作者：thisone地址：https://www.zhihu.com/people/yeziand01论文地址：https://arx...
（阅读）Deep Learning for Anomaly Detection: A Survey
aiyouyou_的博客
09-08 4688
参考 阅读一 阅读二 笔记 摘要 论文首先对基于深度学习的异常检测的研究方法进行了系统全面的概述。此外，还回顾了这些方法在不同应用领域中的应用，并评估了它们的有效性。 根据基本的假设和采用的方法，将最先进的深度异常检测研究技术分为不同的类别。在每个类别中，作者概述了基本的异常检测技术及其变体，并提出了区分正常和异常行为的关键假设。 对于每个类别，论文也提出了优点和限制，并讨论了在实际应用领域的技术的计算复杂度。最后，概述了在应用深度异常检测技术解决实际问题时，研究中存在的问题和面临的挑战。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WSKH0929

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值