【机器学习笔记】异常检测

最新推荐文章于 2022-07-12 15:07:26 发布
最新推荐文章于 2022-07-12 15:07:26 发布
阅读量364 收藏 1
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43557445/article/details/105426559
版权
本文介绍了异常检测的基本概念，并详细探讨了如何使用高斯分布构建异常检测算法。针对有标签数据集，文章阐述了评估算法的方法，比较了异常检测与监督学习的适用场景。此外，还讨论了如何选择合适的特征以及多元高斯分布在异常检测中的应用和优势。
摘要由CSDN通过智能技术生成

异常检测

异常检测问题：已给出m个样本是正常的，然后对于一个新的样本，要判断新样本是正常还是异常的。
因此就是给定一个无标签的训练集，然后对训练集的某些特征建模，对于新样本的概率输出小于阈值，就认为是异常的（说明这个点出现的概率很低）。

一、使用高斯分布来构建异常检测算法

1、选择一些特征，这些特征能用来帮助我们挑选出异常的样本。然后给出数据集 x 1 x^1 x1、 x 2 x^2 x2、 x 3 x^3 x3… x m x^m xm。
2、对每个特征拟合参数 μ 1 \mu^1 μ1、 μ 2 \mu^2 μ2、 μ 3 \mu^3

最低0.47元/天 解锁文章
考研想喝奶茶
关注
【吴恩达机器学习笔记】第十五 章异常检测
qq_36645271的博客
07-24 648
搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’ 获取更多人工智能、机器学习干货 csdn：https://blog.csdn.net/qq_36645271 github：https://github.com/aimi-cn/AILearners 第十五章 异常检测 15.1 问题的动机 15.1.1 异常检测的例子 假设我们是飞机引擎制造商，在引擎制造生产线上...
机器学习入门之异常检测
小菜羊的博客
08-08 741
本文为吴恩达机器学习课程的笔记系列第七篇，主要学习异常检测算法。
异常检测
吴小胖的博客
07-13 161
密度估计：给定数据集x(1)x^{\left ( 1\right )}x(1),x(2)x^{\left ( 2\right )}x(2),…,x(m)x^{\left ( m\right )}x(m)，对它进行数据建模p(x)（属于这组数据的可能性），当有新的数据xtestx_{test}xtest​时： 高斯分布：变量x符合高斯分布x∼N(μ,σ2)x\sim N\left ( \mu ,\sigma ^{2} \right )x∼N(μ,σ2)，其概率密度函数为：p(x,μ,σ2)=12πσexp(
机器学习之异常检测
qq_43412251的博客
10-30 624
异常检测 动机 比如在网站用户数据中：我们可以选取用户多久登录一次，访问过的页面，在论坛发布的帖子数量，甚至是打字速度这些指标作为特征，根据已有的训练集来建立概率模型，对于给定新点的数据做密度估计，来判断这个数据是否正常。 高斯分布 简单示意图： 对于图像理解的重要特征是：μ代表波峰的位置，σ代表波峰的宽度 算法 对于多维度的变量，我们的流程是 选取我们认为可能满足正态分布的变量 求出这些变量的μ，σ 将2中求出的值代入，求出新测试点每一维变量的相对概率，最后做累乘 构造系统 分配数据： 例如：
吴恩达《机器学习》第十五章：异常检测
CodeLuweir 的博客
11-26 659
文章目录十五、异常检测15.1 问题的动机15.2 高斯分布15.3 算法15.4 开发和评价一个异常检测系统15.5 异常检测 VS 监督学习15.6 选择特征15.7 多元高斯分布15.8 使用多元高斯分布进行异常检测 十五、异常检测 15.1 问题的动机 飞机引擎检测：给定一系列正常的引擎参数，要求确定一个新生产的引擎是否正常； 异常用户检测：网站检测用户刷新频率，登录次数、登陆位置等信息，判断用户行为是否异常； 数据中心的计算机检测：检测计算机内存消耗、硬盘容量等信息，判断计算机是否异常； 15.2
机器学习笔记（十三）异常检测
weixin_43869415的博客
09-01 389
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录十三、异常检测（Density Estimation）13.1 异常检测13.2 高斯分布13.3 参数估计13.4 异常检测算法13.5 设计与评估异常检测系统13.6 异常检测与监督学习比较13.7 选择合适的特征13.8 多元高斯分布13.9 基于多元高斯分布的异常检测算法 十三、异常检测（Density Estimation） 13.1 异常检测 所谓异常检测就是发现与大部分对象不同的对象，其实就是发现离群点,异常检测有
读书笔记《Outlier Analysis》 第七章 有监督的异常检测
fu_jian_ping的博客
01-16 4010
1. 引言 监督异常检测的目标是赋予学习方法特定于应用程序的知识，以获得与应用程序相关的异常。这一知识往往包括此类相关异常的例子，尽管其他类型的监督也是可能的。由于异常的罕见性质，这种例子往往是有限的。这给创建健壮模型带来了挑战。然而，即使有少量的数据可供监督，它的纳入通常会显著提高异常检测的准确性。关于异常分析的一般建议是在可能的情况下始终使用监督。 异常检测与分类问题的区别，主要是有以下几个具有挑战性的特征，这些特征有可能是孤立的，也有可能是组合的： 1、类不平衡： 由于异常值被定义为数据中的罕
85 机器学习吴恩达机器学习中文版笔记：异常检测（Anomaly Detection）.docx
10-22
吴恩达机器学习中文版笔记：异常检测（Anomaly Detection） 吴恩达机器学习中文版笔记中，异常检测（Anomaly Detection）是一种常见的机器学习算法，用于检测数据中的异常值或异常模式。这种算法虽然主要用于非监督...
黑马python机器学习入门笔记
08-21
《黑马Python机器学习入门笔记》是一份针对初学者编写的指南，旨在帮助读者掌握Python语言在机器学习领域的基本应用。这份笔记将带你踏入这个充满无限可能的领域，通过Python这门易学且强大的编程语言，开启你的数据...
吴恩达机器学习笔记-人工智能机器学习算法入门笔记
最新发布
01-26
【机器学习基础介绍】 机器学习是人工智能的一个分支，它的核心目标是使计算机系统通过学习数据，而不是被显式地编程，来改善其执行任务的能力。机器学习可以分为监督学习、无监督学习和强化学习等主要类型。 ...
机器学习day14——异常检测
ting的博客
10-26 452
异常检测 给定无标签的数据集，根据该数据集建模即p(x)，也就是说我们对x的分布概率建模，其中x是一些特征变量，之后对测试数据xtest预测得到概率P(xtest)，若该概率低于阈值ε，将其标记为异常。 异常检测算法是一个非监督学习算法。 上图中，在蓝色圈内的数据属于该组数据的可能性较高，而越是偏远的数据，其属于该组数据的可能性就越低。 这种方法称为密度估计，表达如下： 异常检测常用于欺诈检测。 欺诈检测：????(????) = 用户的第 ????个活动特征 通过模型????(????) < ??
异常检测（1）—初识异常检测
Mrs.King的博客
01-13 1224
初识异常检测1.概念2.类别3.应用4.方法（1）传统方法（2）集成方法（3）机器学习方法5.常用库：PyOD、Sklearn、TODS 1.概念 异常一般是指与标准值（预期值）有偏离的样本点，也就是跟绝大部分数据“长的不一样” 。异常往往是“有价值”的事情，我们对异常的成因感兴趣 。 2.类别 有监督：数据集有标签 无监督：数据集无标签（异常检测往往是在无监督模式下进行的，获取的数据都是无标签的） 半监督：数据集只有单一类别（正例）有标签，没有异常实例参与训练 3.应用 金融行业反欺诈、信用卡诈骗检
机器学习(8)--异常检测算法isolation forest
SpringHeather的专栏
05-20 868
南大周志华老师在2010年提出一个异常检测算法Isolation Forest，在工业界很实用，算法效果好，时间效率高，能有效处理高维数据和海量数据，这里对这个算法进行简要总结。 孤立森林（Isolation Forest）是另外一种高效的异常检测算法，它和随机森林类似，但每次选择划分属性和划分点（值）时都是随机的，而不是根据信息增益或者基尼指数来选择。在建树过程中，如果一些样本很快就到达了叶子节点（即叶子到根的距离d很短），那么就被认为很有可能是异常点。因为那些路径d比较短的样本，都是因为距离主要的样本
不均衡学习和异常检测
weixin_43737594的博客
09-25 1287
06_不均衡学习和异常点检测 学习目标 知道样本不均衡时的常用处理方式 掌握SMOTE过采样的使用 知道LOF算法的原理 知道IForest算法的原理 应用异常检测算法进行数据清洗 1 样本不均衡简介 通常分类机器学习任务期望每种类别的样本是均衡的，即不同目标值样本的总量接近相同。 在梯度下降过程中，不同类别的样本量有较大差异时，很难收敛到最优解。 很多真实场景下，数据集往往是不平衡的，一些类别含有的数据要远远多于其他类的数
机器学习算法（十一）：异常检测（Anomaly detection）—高斯分布
weixin_39910711的博客
09-30 2674
1 异常检测 异常检测虽然主要用于非监督学习问题，但从某些角度看，它又类似于一些监督学习问题。 什么是异常检测呢？如下例： 假想你是一个飞机引擎制造商，当你生产的飞机引擎从生产线上流出时，你需要进行QA(质量控制测试)，而作为这个测试的一部分，你测量了飞机引擎的一些特征变量，比如引擎运转时产生的热量，或者引擎的振动等等。 ...
机械学习中的异常检测
种花生的博客
07-12 605
1、高斯分布2、构建一个异常检测算法3、开发和评估异常检测系统4、异常检测VS监督学习5、选择特征5、多元高斯分布（多元正态分布）
n维正态分布概率密度_异常检测的N种方法，阿里工程师都盘出来了
weixin_34501374的博客
12-29 650
阿里妹导读：互联网黑产盛行，其作弊手段层出不穷，导致广告效果降低，APP推广成本暴增。精准识别作弊是互联网公司和广告主的殷切期望。今天我们将从时间序列、统计、距离、线性方法、分布、树、图、行为序列、有监督机器学习和深度学习模型等多个角度探讨异常检测。作者 | 黎伟斌、胡熠、王皓背景异常点检测(Outlier detection)，又称为离群点检测，是找出与预期对象的行为差异较大的对象的一个检测过程...
斯坦福大学机器学习笔记——异常检测算法（高斯分布、多元高斯分布、异常检测算法）
热门推荐
wyl1813240346的博客
01-14 1万+
异常检测问题介绍： 异常检测算法主要用于无监督学习问题，但从某种角度看它又类似于一种有监督学习的问题，下面我们从一个例子中简单介绍一下什么是异常检测问题。 比如我们有一个飞机引擎制造商，对于一个新造出的飞机引擎我们想判断这个引擎是不是异常的。 假如我们有两个飞机引擎的特征：1）引擎运转时产生的热量；2）引擎的震动强度。我们得到了一个数据集：x1,x2,...,xm{x^{1},x^{2},..
数据挖掘（异常检测）task1
weixin_46714700的博客
05-11 620
1、什么是异常检测 1.1 异常的类别 点异常（point anomalies）指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标； 条件异常（conditional anomalies），又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易； 群体异常（group anomalies）指的是在群体集合中的个体实例出现异常的情况，而该个体实例自身可能不是异常，在入侵或欺诈检测等应用中，离群点
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值