Datawhale 异常检测之Task03----线性模型之PCA模型

最新推荐文章于 2024-01-25 13:39:28 发布

人生半熟

最新推荐文章于 2024-01-25 13:39:28 发布

阅读量306

点赞数

分类专栏：异常检测学习教程文章标签：数据分析

本文链接：https://blog.csdn.net/sinat_38189533/article/details/112794137

版权

本文介绍了如何使用pyod库中的PCA模型对合成数据进行异常检测。通过导入库、生成数据及模型训练与预测，展示了PCA在异常点检测的流程。

摘要由CSDN通过智能技术生成

文章目录

前言
一、PCA模型检测合成数据的异常值
二、pca模型检测异常点
总结

前言

本文主要演示利用pyod的pca模块对生成数据进行异常检测

一、PCA模型检测合成数据的异常值

1. 导入库

import matplotlib.pyplot as plt
import pyod.utils.data as data
from pyod.models.pca import PCA

2. 利用pyod.data模块生成数据。

'''生成toy example'''
x_train,x_test,y_train,y_test=data.generate_data(n_train=1000, n_test=500, n_features=2, contamination=0.1, tr

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

人生半熟

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

浅谈线性PCA的实现过程

lisenpy的博客

05-29

408

PCA 主成分分析法，是当今最流行的降维算法之一。其中又分为核PCA，线性PCA，对应于不同形态的数据降维他识别最靠近数据集的超平面，然后将数据投影到这个超平面上。从上面的图中，可以发现将数据投影到C1这个轴上能保留最大的差异性，其他两条虚线保留的差异性比C1实线少，而选择一条能保留最大差异性的轴就是PCA降维技术比较简单的思想。 PCA算法可以找到对差异贡献最大的轴，以及一条和这个轴正交的轴，在上图中C2，C2是对剩余的差异性贡献最大的轴，因为上图是一个二维数据，在更高维的数据中找到与前两条线正交的

PCA模型理论和实践

09-25

PCA模型理论和实践，结合教材用书和文献简单总结，以及从线性空间角度理解PCA模型

参与评论您还未登录，请先登录后发表或查看评论

主成分分析（PCA）算法模型实现及分析（MATLAB实现）PCA降维

热门推荐

weixin_42491720的博客

07-14

1万+

主成分分析（PCA）是一种能够极大提升无监督特征学习速度的数据降维算法。主成分分析（Principal Component Analysis，PCA）的方法，可以将具有多个观测变量的高维数据集降维，使人们可以从事物之间错综复杂的关系中找出一些主要的方面，从而能更加有效地利用大量统计数据进行定量分析，并可以更好地由于得到协方差矩阵的特征值特征向量有两种方法：特征值分解协方差矩阵、奇异值分解协方差矩阵，所以PCA算法有两种实现方法：基于特征值分解协方差矩阵实现PCA算法、基于SVD分解协方差矩阵实现PCA算法

（二）评价模型——主成分分析（PCA）

weixin_70267340的博客

09-02

1831

首先先来说明一下，主成分分析现在多用来进行，将大量数据进行后，再使用其他的算法进行进一步的分析，降维可以去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。（这个方法一般需要结合使用）当然，如果要对数据进行降维处理，我们还有其他的方法：比如奇异值分解（SVD）、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。

PCA和线性判别分析LDA原理总结

大白机器人的博客

09-06

892

　　在主成分分析（PCA）原理总结中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。　　　　在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自...

Task 03 线性回归&主成分分析（PCA）之异常检测 学习笔记

AI_SupplyChain的博客

05-18

1515

线性回归&主成分分析（PCA）之异常检测 1 基础知识 1.1 前提假设利用线性回顾和主成分分析进行异常检测需要有两个前提假设： 1、近似线性相关假设。是利用线性回归和PCA进行异常检测的理论基础 2、子空间假设。子空间假设惹味数据是内嵌在低维度空间之中，线性方法目的是找到合适的低维子空间使得异常点在其中区别于正常点。 1.2 主成分分析法主成分分析法是最常用的线性降维方法，主要原理是通过某种线性投影，将高维的数据映射到低维度的空间中表示，并期望在所投影的维度上-数据的方差最大，以此

异常检测-PCA方法

none的博客

01-19

3392

文章目录异常检测-PCA方法线性回归-最小二乘拟合目标函数的数学意义正规方程解决最小二乘问题PCA用于异常检测PyOD实例 异常检测-PCA方法记录DataWhale的异常检测的学习过程，使用的教材可以在此链接中下载。 Task3介绍的是传统的基于线性相关方法的异常检测算法，最常用的是PCA方法，本文先介绍最基本的最小二乘拟合，再从线性回归的角度介绍PCA算法，并主要介绍PCA在异常检测中的原理，最后在breast cancer数据集上对比了PCA与HBOS算法的性能。线性回归-最小二乘拟合基于最小二

Datawhale task3 优化基础模型“方差与偏差部分”

qq_43720646的博客

03-22

650

机器学习模型优化基础遗留问题： 1.自变量个数多于样本量的时候，为什么X^tX不可逆 2.讲岭回归惩罚项选择的时候，回归模型的参数变小，模型方差就变小，可能中间有些推导（a）训练均方误差与测试均方误差过拟合：可以看出当模型的训练均方误差达到很小时，测试均方误差反而很大，但是我们寻找的最优的模型是测试均方误差达到最小时对应的模型，因此基于训练均方误差达到最小选择模型本质上是行不同的。正如上右图所示：模型在训练误差很小，但是测试均方误差很大时，我们称这种情况叫模型的过拟合。（b）偏差和方差的分

数据挖掘-Task3 特征工程

Xiaobai_rabbit0的博客

03-28

1158

Datawhale 数据挖掘-Task3 特征工程特征工程目标1 内容介绍2 代码示例2.1 导入数据合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart...

异常检测系列：主成分分析PCA异常值分数检测

最新发布

数智笔记

01-25

1801

异常值与正常数据点不同。当它们投影到低维超平面时，它们将落在具有较小特征值的特征向量上。数据点的异常值分数是数据点到低维超平面的加权欧氏距离的总和。

利用PCA进行故障监测

weixin_30872671的博客

07-05

1743

利用PCA进行故障监测，传统的统计指标有两种：Hotelling-T2和平方预测误差(Squared prediction error, SPE)。T2统计量反映了每个主成分在变化趋势和幅值上偏离模型的程度，是对模型内部化的一种度量，它可以用来对多个主元同时进行监测；SPE统计量刻画了输入变量的测量值对主元模型的偏离程度，是对模型外部变化的一种度量。转载于:https://www.cnblogs...

PCA和线性回归的差别

诚实的小小乐

07-16

5030

PCA使用上图的d'来衡量投影的好坏，使得样本到直线的距离最小。线性回归使用上图中的d来衡量回归的好坏，使得f(x)-y的平方和最小。最小二乘法（最小平方法），使得f(x)-y的平方值最小化，线性回归使用的是最小二乘法。...

主成成分分析-PCA

开开_王子的博客

08-15

1034

1、问题描述下表1是某些学生的语文、数学、物理、化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系。那么一眼就能看出来，数学、物理、化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数学成绩拉的最开）。为什么一眼能看出来？因为坐标轴选对了！下面再看一组学生的数学、物理、化学、语文、历史、英语成绩统计，见表2，还能不能一眼看出来

线性降维之PCA（主成分分析）

熊伟

06-23

1206

为什么要降维简单的一句话概括：现实生活中得到的数据大都是高维数据，然而有时候这些高维数据可能存在某些线性关系，也就是说我们完全可以用较低的维度来表示它，从而可以简化运算。概述如上图，目标是输入一个高维向量xxx，经过一个函数处理得到低维的向量zzz,向量zzz就是我们要的低维向量。特征选择作为一种最简单的降维方式，如上图，所有的点都分布在x2x_2x2轴上，x1x_1x...

浅谈PCA（主成分分析）线性降维算法用法

lbweiwan的博客

09-17

1785

PCA是一种线性降维算法，想要了解其基本原理的博友，建议到此博客（https://blog.csdn.net/Mr_tyting/article/details/76070436）去研读原理。 sklearn.decomposition.PCA(n_components = None, copy = True, whiten = False) n_components表示需要保留的主成分个数，...

线性判别分析（LDA）主成分分析(PCA)

stormbjm的专栏

12-05

921

前言：第二篇的文章中谈到，和部门老大一宁出去outing的时候，他给了我相当多的机器学习的建议，里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到，如果学习分类算法，最好从线性的入手，线性分类器最简单的就是LDA，它可以看做是简化版的SVM，如果想理解SVM这种分类器，那理解LDA就是很有必要的了。谈到LDA，就不得不谈谈PCA，PCA是一个和LDA非常相关的算法，从推导、求解、到

机器学习 | 线性判别分析LDA和主成分分析PCA

RUC_Lee的博客

05-12

1553

LDA的两种含义1 背景2 线性判别分析LDA3 主成分分析PCA4 LDA和PCA有什么区别和联系？ 1 背景聊到LDA，大部分可能都会想到是线性判别分析，甚至在面试的时候，我简历上明明写的是LDA主题模型，但面试官其实不太懂，直接就问了线性判别分析。。。所以今天我们就来聊一聊线性判别分析LDA以及和其很相近的PCA！ 2 线性判别分析LDA 3 主成分分析PCA 4 LDA和PCA有什么区别...

主成分分析(PCA)及动态主成分分析(Dynamic PCA)模型原理分析

车手只需要车和手，压力来自轮胎

08-05

6398

纯理论推导，建议慢食！！！建议推一遍公式，挺好的。主成分分析(PCA Model, PM) PCA是一种统计方法，广泛应用于工程和科学应用中，与傅里叶分析相比，尤其适用于质量监测。设x∈Rm\boldsymbol{x} \in \mathfrak{R}^{m}x∈Rm表示mmm个传感器矢量的样本测量值。假设每个传感器有NNN个样本，数据矩阵X=[x1x2⋯xN]T∈RN×m\mathbf{X}=\left[\begin{array}{llll} \boldsymbol{