机器学习——异常检测与主成分分析

最新推荐文章于 2024-01-30 17:28:59 发布
最新推荐文章于 2024-01-30 17:28:59 发布
阅读量1.3k 收藏 14
点赞数 1
分类专栏： 笔记 文章标签： 机器学习 python pca降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45739665/article/details/114501782
版权

目录

一、异常检测

1.1可以用到的案例
  • 欺诈检测：盗刷信用卡检测
  • 入侵检测：检测网络入侵或计算机入侵行为
  • 医疗：缺陷基因检测
  • 生态系统：预测飓风、洪水、干旱、热浪和火灾的发生
1.2监督式异常检测
  • 提前使用带“正常”与“异常”标签的数据对模型进行训练，机器基于训练好的模型判断新数据是否为异常数据
1.3无监督式异常检测
  • 通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常
1.4定义
  • 基于数据分布，寻找与其他数据最不匹配的实例
  • 寻找发生可能性比较低的事件
    在这里插入图片描述

二、概率密度函数

  • 在连续分布事件中，用于描述连续随机变量的输出值在某个确定的取值点附近的可能性的函数，通过其可计算取值点附近区间发生事件的概率
    在这里插入图片描述
2.1基于高斯分布的概率密度函数
  • 现实生活中，很多事件发生的频率都符合高斯分布，比如：工业产品的强力、抗压强度、口径、长度等指标；人体的身高、体重等指标；同一品种种子的重量；某个地区的年降水量，等等
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
2.2基于高斯分布概率密度函数实现异常检测

在这里插入图片描述

u1 = x1_mean
u2 = x2_mean
sigma1 = x1_sigma
sigma2 = x2_sigma

p1 = 1/sigma1/math.sqrt(2*math.pi)*np.exp(-np.power((x1-u1),2)/2/math.pow(sigma1,2))

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

三、数据降维

3.1问题
  • 想建立一个AI模型，筛选金融股票，潜在数据指标：价格、交易量、换手率、股东人数、最近N日涨跌幅、RSI指标、市值、营业额、净利润、负债率、利润增长率…多达几百\上千个因子
  • 两大问题：求解困难、模型过拟合
3.2定义
  • 在一定的限定条件下，按照一定的规则，尽可能保留原始数据集重要信息的同时，降低数据集特征的个数
    在这里插入图片描述
3.3为什么需要数据降维
  • 维数灾难：随着特征数量越来越多，为了避免过拟合，对样本数量的需求会以指数速度增长
    在这里插入图片描述
  • 数据可视化：高维数据不能可视化，只有降低到二维或三维才能可视化
    在这里插入图片描述
  • 3D数据降维到2D数据

在这里插入图片描述

四、数据降维最常用的方法——主成分分析（PCA）

  • 也称主分量分析，按照一定规则把数据变换到一个新的坐标系统中，使得任何数据投影后尽可能可以分开（新数据尽可能不相关，分布方差最大化）。
  • 核心：投影后的数据尽可能分得开（即不相关）
4.1PCA的实现
  • 使投影后数据得方差最大，因为方差越大数据也越分散
  • 数据预处理（数据分布标准化：μ=0，α=1）
  • 计算协方差矩阵特征向量、及数据在各特征向量投影后的方差
  • 根据需求（任务指定或方差比例）确定降维维度K
  • 选取K维特征向量，计算数据在其形成空间得投影
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
#数据标准化处理,均值变为0，标准差变为1
from sklearn.preprocessing import StandardScaler
X_norm=StandardScaler().fit_transform(X)
print(X_norm)

##数据降维到2维
from sklearn.decomposition import PCA
pca=PCA(n_components=2)
X_pca=pca.fit_transform(X_norm)
print(X_pca.shape,X_norm.shape)
#计算方差比例
var_ratio2=pca.explained_variance_ratio_
print(var_ratio2)

五、任务

5.1任务一：异常消费行为检测：基于数据，基于高斯分布得概率密度函数实现异常消费行为检测
  • 可视化消费数据、数据分布次数、及其对应高斯分布得概率密度函数
  • 设置概率密度阈值0.03，建立模型，实现异常数据点预测
  • 可视化异常检测处理结果
  • 修改概率密度为0.1、0.2，查看阈值改变对结果得影响
  • 修改概率密度阈值为0-0.2，以0.01为递增间隔，查看保存结果、生成动态gif图
  • 在这里插入图片描述
# In[]
from matplotlib import pyplot as plt
import pandas as pd
import numpy as np

data=pd.read_csv('PCA_AnomalyPay.csv')

import matplotlib as mpl
mpl.rcParams['font.family']='SimHei'

# In[]
fig1=plt.figure(figsize=(8,6))
plt.scatter(data.loc[:,'frequency'],data.loc[:,'payment'],marker='x')
plt.title('原始数据')
plt.xlabel('频率')
plt.ylabel('消费')
plt.show()

在这里插入图片描述


x1=data.loc[:,'frequency']
x2=data.loc[:,'payment']

# In[]
#数据分布的可视化操作
fig2=plt.figure(figsize=(20,5))
fig2_1=plt.subplot(121)
plt.hist(x1,bins=100)   #频次图，bins划分成多少块
plt.title('频率数据')
plt.xlabel('频率')
plt.ylabel('统计')

fig2_2=plt.subplot(122)
plt.hist(x2,bins=100)   #频次图，bins划分成多少块
plt.title('消费数据')
plt.xlabel('消费')
plt.ylabel('统计')
plt.show()

在这里插入图片描述

x1_mean=x1.mean()
x1_sigma=x1.std()
#计算数据均值、标准差

x2_mean=x2.mean()
x2_sigma=x2.std()
print(x1_mean,x1_sigma,x2_mean,x2_sigma)
# In[]
#计算对应得高斯分布数值
#norm正态分布模块
from scipy.stats import norm
x1_range=np.linspace(0,10,300)  #0-10，300个点
x1_normal1=norm.pdf(x1_range,x1_mean,x1_sigma)
#生成曲线

x2_range=np.linspace(0,400,300)
x2_normal1=norm.pdf(x2_range,x2_mean,x2_sigma)

# In[]
#原始数据的高斯分布概率密度函数可视化
fig3=plt.figure(figsize=(20,10))
plt3_1=plt.subplot(121)
plt.plot(x1_range,x2_normal1)
plt.title('x1频率高斯分布')
plt.xlabel('x1频率')
plt.ylabel('p(x1)')

plt3_2=plt.subplot(122)
plt.title('x2频率高斯分布')
plt.xlabel('x2消费')
plt.ylabel('p(x2)')
plt.plot(x2_range,x2_normal1)

在这里插入图片描述

import math
#设置范围
x_min, x_max = 0, 10
y_min, y_max = 0, 400
h1 = 0.1
h2 = 0.1
#生成矩阵数据
xx, yy = np.meshgrid(np.arange(x_min, x_max, h1), np.arange(y_min, y_max, h2))
print(xx.shape,yy.shape)
#meshgrid生成网格点坐标矩形

#展开矩阵数据
x_range = np.c_[xx.ravel(), yy.ravel()]
x1 = np.c_[xx.ravel()]  #ravel将多维数组降成一维
x2 = np.c_[yy.ravel()]
x_range_df = pd.DataFrame(x_range)
#x_range_df.to_csv('data.csv')
#高斯分布参数
u1 = x1_mean
u2 = x2_mean
sigma1 = x1_sigma
sigma2 = x2_sigma

#计算高斯分布概率
p1 = 1/sigma1/math.sqrt(2*math.pi)*np.exp(-np.power((x1-u1),2)/2/math.pow(sigma1,2))
p2 = 1/sigma2/math.sqrt(2*math.pi)*np.exp(-np.power((x2-u2),2)/2/math.pow(sigma2,2))
p = np.multiply(p1,p2)
#对概率密度维度转化
p_2d = p.reshape(xx.shape[0],xx.shape[1])




# In[]
#3D高斯分布概率函数图形可视化
from matplotlib import cm
#上色
from mpl_toolkits.mplot3d import Axes3D
#3D模块
import matplotlib.pyplot as plt
fig5=plt.figure()
axes3d=Axes3D(fig5)
axes3d.plot_surface(xx,yy,p_2d,cmap=cm.rainbow)
#cmpa:以彩虹色进行上色

在这里插入图片描述

#高斯模型的建立和训练
from sklearn.covariance import EllipticEnvelope
ad_model=EllipticEnvelope(contamination=0.03)

#contamination:阈值
ad_model.fit(data)

# In[]
#模型预测
y_predict=ad_model.predict(data)
print(pd.value_counts(y_predict))

# In[]
#异常数据可视化
fig7=plt.figure(figsize=(8,6))
plt.scatter(data.loc[:,'frequency'][y_predict==-1],data.loc[:,'payment'][y_predict==-1],marker='o',facecolor='none',edgecolor='red',s=150,label='abnoraml data')
plt.scatter(data.loc[:,'frequency'],data.loc[:,'payment'],marker='x',label='raw data')
#空心的圆 facecolor='none'
plt.legend(loc='upper left')

在这里插入图片描述

#生成gif
x=np.linspace(0, 0.2,20)
for i in range(20):
    from sklearn.covariance import EllipticEnvelope
    ad_model=EllipticEnvelope(contamination=x[i])

    #contamination:阈值
    ad_model.fit(data)


    y_predict=ad_model.predict(data)


    fig7=plt.figure(figsize=(8,6))
    plt.scatter(data.loc[:,'frequency'][y_predict==-1],data.loc[:,'payment'][y_predict==-1],marker='o',facecolor='none',edgecolor='red',s=150,label='abnoraml data')
    plt.scatter(data.loc[:,'frequency'],data.loc[:,'payment'],marker='x',label='raw data')
    plt.title('阈值为{}'.format(x[i]))
    plt.legend(loc='upper left')
    plt.savefig('阈值{}.png'.format(i))

    






# In[]
import imageio
def create_gif(image_list, gif_name, duration=0.35):
    frames = []
    for image_name in image_list:
        frames.append(imageio.imread(image_name))
    imageio.mimsave(gif_name, frames, 'GIF', duration=duration)
    return


def main():
    image_list = ['阈值0.png', '阈值1.png', '阈值2.png', '阈值3.png', '阈值4.png', '阈值5.png', '阈值6.png', '阈值7.png', '阈值8.png', '阈值9.png', '阈值10.png', '阈值11.png', '阈值12.png', '阈值13.png', '阈值14.png', '阈值15.png', '阈值16.png', '阈值17.png', '阈值18.png', '阈值19.png']
    gif_name = '异常数据检测.gif'
    duration = 0.35
    create_gif(image_list, gif_name, duration)


if __name__ == '__main__':
    main()

在这里插入图片描述

5.2任务二：基于数据，结合PCA降维技术与逻辑回归预测检查者患病情况
  • 对于原数据建立逻辑回归模型，计算模型预测准确性
  • 对数据进行标准化处理，选取glucose维度数据可视化处理后的效果
  • 进行与原数据等维度PCA,查看各主成分的方差比例
  • 保留2个主成分，可视化降维后的数据
  • 基于降维后数据建立逻辑回归模型，与原数据表现进行对比，思考结果变化原因
    在这里插入图片描述
import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
import matplotlib as mpl

mpl.rcParams['font.family']='SimHei'
data=pd.read_csv('PCA_diabetes.csv')

# In[]
X=data.drop(['label'],axis=1)
y=data.loc[:,'label']

# In[]
#逻辑回归预测
from sklearn.linear_model import LogisticRegression
model1=LogisticRegression(max_iter=1000)
model1.fit(X,y)

# In[]
y_predict=model1.predict(X)
print(y_predict)

# In[]
#模型评估
from sklearn.metrics import accuracy_score
accuracy=accuracy_score(y,y_predict)
print(accuracy)

在这里插入图片描述

#数据标准化处理,均值变为0，标准差变为1
from sklearn.preprocessing import StandardScaler
X_norm=StandardScaler().fit_transform(X)
print(X_norm)

# In[]计算均值与标准差
x1_mean=X.loc[:,'glucose'].mean()
x1_norm_mean=X_norm[:,1].mean()
x1_sigma=X.loc[:,'glucose'].std()
x1_norm_sigma=X_norm[:,1].std()

print(x1_mean,x1_norm_mean,x1_sigma,x1_norm_sigma)

# In[]
fig1=plt.figure(figsize=(12,5))
fig1_1=plt.subplot(121)
plt.hist(X.loc[:,'glucose'],bins=100)

fig1_2=plt.subplot(122)
plt.hist(X_norm[:,1],bins=100)
plt.show()

在这里插入图片描述

#PCA分析
from sklearn.decomposition import PCA
pca=PCA(n_components=8)
X_pca=pca.fit_transform(X_norm)
print(X_pca.shape)

#计算分析后各成分的方差以及方差比例
var=pca.explained_variance_
var_ratio=pca.explained_variance_ratio_
print(var)          #方差
print(var_ratio)    #方差比例 
print(sum(var_ratio))

在这里插入图片描述

#可视化方差比例
fig1=plt.figure(figsize=(20,5))
plt.bar([1,2,3,4,5,6,7,8],var_ratio)
#plt.bar条形图
plt.xticks([1,2,3,4,5,6,7,8],['PC1','PC2','PC3','PC4','PC5','PC6','PC7','PC8'])
plt.ylabel('variance ratio of each PC')
plt.show()

在这里插入图片描述

#数据降维到2维
from sklearn.decomposition import PCA
pca=PCA(n_components=2)
X_pca=pca.fit_transform(X_norm)
print(X_pca.shape,X_norm.shape)
#计算方差比例
var_ratio2=pca.explained_variance_ratio_
print(var_ratio2)


# In[]
#可视化降维后的数据
negative=plt.scatter(X_pca[:,0][y==0],X_pca[:,1][y==0],c='r',marker='x',label='negative')
positive=plt.scatter(X_pca[:,0][y==1],X_pca[:,1][y==1],marker='*',label='positive')
plt.legend()
plt.show()


# In[]
#降维后逻辑回归预测
model2=LogisticRegression()
model2.fit(X_pca,y)
y_predict_pca=model2.predict(X_pca)
accuracy_pca=accuracy_score(y,y_predict_pca)
#计算准确率
print(accuracy_pca)

在这里插入图片描述
在这里插入图片描述

谷雨白
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Task 03 线性回归&主成分分析（PCA）之异常检测 学习笔记
AI_SupplyChain的博客
05-18 1464
线性回归&主成分分析（PCA）之异常检测 1 基础知识 1.1 前提假设 利用线性回顾和主成分分析进行异常检测需要有两个前提假设： 1、近似线性相关假设。是利用线性回归和PCA进行异常检测的理论基础 2、子空间假设。子空间假设惹味数据是内嵌在低维度空间之中，线性方法目的是找到合适的低维子空间 使得异常点在其中区别于正常点。 1.2 主成分分析法 ​ 主成分分析法是最常用的线性降维方法，主要原理是通过某种线性投影，将高维的数据映射到低维度的空间中表示，并期望在所投影的维度上-数据的方差最大，以此
Python3数据分析与机器学习实战——示例代码
11-12
在本资源中，"Python3数据分析与机器学习实战——示例代码"是一个涵盖了Python编程语言在数据处理和机器学习领域的实际应用的集合。这个压缩包包含的子文件夹（ch08、ch11、ch10、ch07、ch12、ch06、ch16、ch15、ch...
datawhale 5月学习——异常检测
qq_40990057的博客
05-11 399
task 1 异常检测概述 异常检测有多种应用场景，根据任务的不同，相关技术可以用于回归/分类问题的预处理（如果这类问题要求数据全为合理值），也可以用于直接的异常检测任务（如系统故障诊断、信用卡欺诈等） 其中，特别是在实际工程应用中，大多数情况下没有异常标签，所以无监督预测占很大比例；另外，在一些数据收集无法十分频繁的问题（如机房巡检），或者是数据集本身有严格要求的（如身份证号数据库）上，缺乏异常数据，这部分问题需要半监督预测方法。 噪音及异常数据缺乏时异常检测的难点，故一般的机器学习方法，很多没有办法直接
PCA（主成分分析）原理详解与python实现
litt1e的博客
01-14 3881
PCA是一种数据降维的方法。当我们在处理一些高维且冗余数据时，可以使用PCA对数据进行降维，去除冗余信息，提高运行速度。如上图所示，左边3D图像，存在大量冗余数据，我们把这样的数据转移到2D可以更加清晰的观察数据本身，同时降低计算复杂度。 1.PCA原理详解 如果我们要对上图二维空间的特征点做特征降维，那怎样的降维结果对我们来说是好的呢？其实，二维特征降维就是找坐标系投影，如图可以看到红色箭头与黄色箭头两个坐标轴。如果我们将特征映射到黄色轴，二维特征点将会大量重叠在黄色轴上，损失大量原始信息是我们不想见.
异常检测：从异常检测到PCA再到特征向量
围城
10-01 1422
20201001 - 0. 引言 最近的精力比较杂，当时仅仅是想学习《异常点检测》中的某个章节，但是因为遗忘的知识太多，导致又得学习更多的东西，比如线性代数的东西。很多概念在本科的时候都学过，所以捡起来也不是那么难，但是想马上得心应手的用起来，肯定是要花点功夫的。 在最近看的几个主体中，我就发现了一个非常重要的概念，那就是特征向量。其实这个东西，本身没什么难点嘛，大一学习的线性代数，不就是几个公式，然后求一求就出来了。当时的应试场景下，这样肯定是没什么问题的，但是当真正需要利用这个东西的实际意义的时候，而不
异常检测系列：主成分分析PCA异常值分数检测
数智笔记
01-25 1528
异常值与正常数据点不同。当它们投影到低维超平面时，它们将落在具有较小特征值的特征向量上。数据点的异常值分数是数据点到低维超平面的加权欧氏距离的总和。
机器学习A-Z——udemy.zip
最新发布
04-23
2. 主成分分析（PCA）：降维技术，减少数据的复杂性，保持数据的主要特征。 3. 自编码器：神经网络结构，用于数据的无监督学习和特征提取。 四、深度学习 1. 神经网络基础：理解神经元、层、反向传播和梯度下降。 2...
人工智能实战-从 Python 入门到机器学习.zip
08-08
《人工智能实战——从 Python 入门到机器学习》是一份深度探索人工智能领域的实践教程，它旨在帮助初学者通过 Python 编程语言逐步掌握人工智能的基本概念和技术。Python 是目前最受欢迎的编程语言之一，尤其在数据...
斯坦福机器学习网页转pdf版本11-15.zip
10-11
接下来是第12部分——异常检测。异常检测通常用于识别数据集中的离群值或不寻常模式，这对于识别欺诈行为、设备故障预测等应用场景非常重要。异常检测方法可以分为监督学习、无监督学习和半监督学习，每种方法都有其...
高光谱异常检测合成数据集salinas
05-19
通常，异常检测方法包括统计方法（如均值和方差分析）、机器学习（如支持向量机、随机森林）以及深度学习（如卷积神经网络）等。通过这些方法，研究人员可以构建模型来区分正常像素与异常像素，从而提高识别精度。 ...
异常检测之PCA实战
机器学习、深度学习、文本分类、异常检测、风控等知识的积累和分享
10-19 1104
PCA是一个经典的线性降维算法，而降维算法可以先进行降维、再重构数据，那些难以重构的样本就是和整体分布差异较大的样本点，我们通过计算原始数据和重构数据的差异来识别出难以重构的样本，从而达到异常检测的目的。本文结合信用卡的退款欺诈行为数据，来详解PCA异常检测实战过程
PCA异常检测
猪逻辑公园
06-29 7874
Principle Component Analysis是主成分分析，简称PCA。它的应用场景是对数据集进行降维。降维后的数据能够最大程度地保留原始数据的特征（以数据协方差为衡量标准）。 PCA的原理是通过构造一个新的特征空间，把原数据映射到这个新的低维空间里。PCA可以提高数据的计算性能，并且缓解"高维灾难"。高维灾难详见https://www.leiphone.com/news/201706/...
【机器学习】收藏！14 种异常检测方法总结
fengdu78的博客
05-17 1369
作者丨Ai，来源丨宅码 编辑丨极市平台本文收集整理了公开网络上一些常见的异常检测方法（附资料来源和代码）。不足之处，还望批评指正。一、基于分布的方法1. 3sigma基于正态分布，3sigma准则认为超过3sigma的数据为异常点。图1: 3sigmadefthree_sigma(s): mu,std=np.mean(s),np.std(s) lower,upp...
PCA 异常检测
Mark_Australia的博客
12-06 3763
PCA 异常检测
异常检测2——PCA异常检测
呆萌的代Ma
03-22 3323
文章目录算法思想PCA推导示例代码 算法思想 对原始数据标准化（均值0方差1） PCA有两种计算方法：最大投影方差与最小重构代价（可以查看下面的PCA推导） 在异常检测中，使用的逻辑是： 对训练集做特征值分解：特征向量代表方向，对应的特征值是空间中这个方向的方差，特征值越大，方差越大 我们可以把特征向量所指的方向，看做正常样本点的方向（因为训练集中绝大多数是正常样本点），而计算出的特征值越大，意味着异常点在这个方向上与正常样本的差异越大 所以接下来，我们只要把跟正常样本不是一路人的点找到就行，它们是异
【机器学习】异常检测
noobiee的博客
10-28 8716
异常检测实际案例：网络安全中的攻击检测，金融交易欺诈检测，疾病侦测，和噪声数据过滤等。时间序列的异常又分为点异常和模式异常。对于一个新观测值进行判断： 离群点检测: 训练数据包含离群点,即远离其它内围点。离群点检测估计器会尝试拟合出训练数据中内围点聚集的区域, 会忽略有偏离的观测值。 新奇点检测: 训练数据未被离群点污染，我们对新观测值是否为离群点感兴趣。在这个语境下，离群点被认为是新奇点。 离群点检测 也被称之为 无监督异常检测; 而 新奇点检测 被称之为 半监督异常检测。 在离群点检
机器学习笔记——异常检测、推荐系统、大规模机器学习、图片OCR
andrew_1219的博客
01-30 572
该篇笔记包括： 1. 第十五章————异常检测 2. 第十六章————推荐系统 3. 第十七章————大规模机器学习 4. 第十八章————图片OCR
异常检测（Anomaly Detection)与主成分分析（PCA）
weixin_42166745的博客
04-17 806
根据输入数据，对不符合预期模式的数据进行识别 根据概率密度最小的点，检测是否是异常点
异常检测
热门推荐
工作笔记
12-04 1万+
异常点检测，有时也叫离群点检测，英文一般叫做Novelty Detection或者Outlier Detection，这里就对异常点检测算法做一个总结。 1. 异常点检测算法使用场景 　　　　什么时候我们需要异常点检测算法呢？常见的有三种情况。一是在做特征工程的时候需要对异常的数据做过滤，防止对归一化等处理的结果产生影响。二是对没有标记输出的特征数据做筛选，找出异常的数据。三是对有标记输出的特...
机器学习__主成分分析.pptx
01-14
"该资源为一个关于机器学习中主成分分析(PCA)的PPT，内容涉及PCA在高维数据降维中的作用、PCA的基本思想、核心步骤以及实际应用案例，如图像压缩。同时提到了DBSCAN算法作为标签，但未在主要内容中详细展开。" 在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值