异常检测之PCA实战

目录

一、PCA原理

二、信用卡退款欺诈行为检测实战

1、数据介绍

 2、欺诈数据分析及特征衍生

3、特征分布分析及特征筛选

4、数据归一化处理

5、PCA模型构建及评估

划重点


        PCA是一个经典的线性降维算法,而降维算法可以先进行降维、再重构数据,那些难以重构的样本就是和整体分布差异较大的样本点,我们通过计算原始数据和重构数据的差异来识别出难以重构的样本,从而达到异常检测的目的。

一、PCA原理

        PCA(Principal Component Analysis,主成分分析)是一种常用的降维技术,用于从高维数据中提取最重要的特征,关键思想是通过找到能够最大程度保留原始数据方差的投影方向,将高维数据转换为低维空间。选择前 k 个主成分可以根据特征值的比例来确定,通常选择保留总方差的一定比例(例如,保留总方差的 95%)或者根据特定的业务需求来确定降维后的维度。 PCA 的计算过程如下:

        (1)数据标准化: 首先对原始数据进行标准化处理,使得每个特征具有零均值和单位方差。这是为了确保不同特征的尺度和方差差异不会对 PCA 的结果产生不良影响。

        (2)协方差矩阵计算: 计算标准化后数据的协方差矩阵。协方差矩阵描述了数据特征之间的线性相关性。对于一个 d 维数据集,协方差矩阵是一个 d×d 的对称矩阵,其中每个元素表示两个特征之间的协方差。

        (3)特征值分解: 对协方差矩阵进行特征值分解,得到特征值和对应的特征向量。特征向量表示了数据在新的坐标系下的主成分方向,而特征值则表示了数据在对应特征向量方向上的方差大小。

        (4)特征值排序: 将特征值按照从大到小的顺序进行排序,选择前 k 个最大的特征值及其对应的特征向量作为主成分。

        (5)投影转换: 将原始数据投影到选定的 k 个主成分上,得到降维后的数据集。投影转换涉及将每个数据样本乘以特征向量,从而在新的低维空间中表示原始数据。

二、信用卡退款欺诈行为检测实战

1、数据介绍

        使用信用卡退款欺诈行为检测数据,具体来源记不住了。样本量11127条,包括卡号、退款操作时间、金额、以及是否欺诈的标签CBK,这里我们还是通过无监督的方式来识别欺诈退款,然后用欺诈标签评估模型效果、并用于调整特征和模型。

 2、欺诈数据分析及特征衍生

(1)时间特征衍生

         数据结构比较简单,而整个数据的时间窗口都在2015-05一个月内,所以我们先从Date字段提取出周、日、时、分、秒等时间字段,考虑到周内、周末信用卡操作频次可能存在差异,所以也提取出weekday(周几)。另外CBK也映射为0-1值,便于后续处理。

(2)欺诈行为分析及分组特征衍生

        在很多场景里,聚集便意味着风险,这里我们也可以分组进行分析。数据集中提供了信用卡卡号,对于一个退款的欺诈用户而言,如果成功退款了一次,那么他一定会连续尝试、多次退款,所以可以查看一下是否存在短时间内频繁退款的情况。

        如下图所示,存在部分信用卡在一个月内产生频繁退款的行为,结合欺诈标签进行分析,可以看到欺诈行为大多频繁退款的行为均存在异常。

         从微观角度来看,退款频数top1的信用卡在半小时内发起了20次退款,每隔1-2分钟发起一笔,且退款金额为固定值250,看起来很像是程序控制的随机时间间隔来发起退款行为。

        再来看退款频次top2的信用卡,与上图情况相似,不同的是退款金额间隔几次会存在一定变化。

        另外,我们也可以发现部分高频退款行为的欺诈标签为0,与前面欺诈行为的区别在于退款金额不存在规律性。不过由于发生高频退款行为、而标签为未欺诈的数据较少(即从数据标签来看,高频退款的基本均为欺诈行为),这里为了方便不再额外去衍生高频退款行为下、金额规律性的特征,有兴趣的朋友可以尝试一下能否进一步提高识别欺诈的能力。

         根据上述欺诈行为分析,高频退款便可能存在着风险,这里简单衍生出按照信用卡分组的月度退款频数、天退款频数、hour退款频数等特征。

3、特征分布分析及特征筛选

        首先,分别从天、周数、小时来进行特征分布分析。如下图所示,从1-30日内每隔几天就会有低频退款的day,即存在不规则的周期波动性,所以结合图二当天所在周几来看,周六日的退款频数明显低于周内,尤其是周末,而低频则意味着风险,所以day、weekday特征均保留。

        同理,hour特征分布来看,在凌晨1-7点的睡眠时间段之间交易频数偏低,且在这段时间发起退款行为难免让人疑惑,因此hour特征也保留入模。

        与上面不同,分钟数、秒数特征几乎没有什么规律可言,每分钟的退款频次几乎相近,对于欺诈识别没有什么贡献,因此剔除分钟数、秒数特征。

        最后再来看信用卡对应的退款频数特征,基本符合长尾分布,月度退款次数达多集中在2次以内、高频退款行为还是比较少的,根据其分布结合前文的欺诈分析,这部分特征可以极大地增强模型的欺诈异常识别能力

4、数据归一化处理

        在使用PCA降维、重构之前先将数据进行归一化,避免因为量纲、数据量级的不统一

df2_copy2=df2_copy.copy()
scaler = MinMaxScaler()

fea_list=['Amount', 'day','hour', 'weekday','refund_cnt','refund_cnt_day','refund_cnt_day_hour']
df2_copy2[fea_list]=scaler.fit_transform(df2_copy[fea_list])

5、PCA模型构建及评估

        最终入模变量保留 Amount,day,hour,weekday,refund_cnt,refund_cnt_day,refund_cnt_day_hour 共7个。在建模前我们先把数据集进行归一化来消除量纲差异、便于后续评估异常得分,然后按照8:2的比例随机划分出训练集、测试集,将训练集用于构建PCA,之后分别在训练集、测试集上进行数据重构,那些难以重构的样本就是和整体分布差异较大的样本点、因此使用样本的重构误差mae来作为异常得分,然后再使用ks、auc评估模型效果。

        可以看到在保留2个主成分的情况下,PCA在测试集上识别欺诈的auc达到了0.83

import numpy as np
from sklearn.decomposition import PCA
from scipy.stats import chi2

fea_list=['Amount', 'day','hour', 'weekday','refund_cnt','refund_cnt_day','refund_cnt_day_hour']

pca = PCA(n_components=2,whiten=False,random_state=1)
pca.fit(df2_copy2[df2_copy2['sample']=='train'][fea_list])
X_pca = pca.transform(df2_copy2[fea_list])

X_reconstructed = pca.inverse_transform(X_pca) # 数据重构
df2_copy2['mae_pca']= np.mean(np.abs(df2_copy2[fea_list] - X_reconstructed), axis=1) 
ks_auc_value(df2_copy2.CBK,df2_copy2.mae_pca)

'''
   output (0.6157866056255445, 0.8565583043200286)
'''

ks_auc_value(df2_copy2[df2_copy2['sample']=='train'].CBK,df2_copy2[df2_copy2['sample']=='train'].mae_pca)

'''
   output (0.6299455998590442, 0.8629379444545928)
'''
ks_auc_value(df2_copy2[df2_copy2['sample']=='test'].CBK,df2_copy2[df2_copy2['sample']=='test'].mae_pca)

'''
   output (0.5599423037296518, 0.8312342880692355)
'''

        因为数据集中包含欺诈标签,我们可以调整PCA保留的主成分数量来调整出一个精度更高的模型。特征数量为7,所以主成分数量分别从1-7进行训练评估,最终当主成分数量为3时,测试集的auc达到最大值0.89。

for n_components in range(1,8):
    pca = PCA(n_components=n_components,whiten=False,random_state=1)
    pca.fit(df2_copy2[df2_copy2['sample']=='train'][fea_list])
    X_pca = pca.transform(df2_copy2[fea_list])

    X_reconstructed = pca.inverse_transform(X_pca) 
    df2_copy2['mae_pca']= np.mean(np.abs(df2_copy2[fea_list] - X_reconstructed), axis=1) 
    print('主成分数量为{}'.format(n_components),ks_auc_value(df2_copy2[df2_copy2['sample']=='test'].CBK,df2_copy2[df2_copy2['sample']=='test'].mae_pca))
    
    

划重点

        关注威心公众号 Python风控模型与数据分析 ,回复 异常检测PCA实战 获取本文数据、完整代码!还可以获取更多理论知识与代码分享

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PCA异常检测是一种使用主成分分析(Principal Component Analysis,PCA)方法进行异常检测的技术。在Python中可以使用numpy、pandas和matplotlib等库进行数据处理和可视化。 首先,读取数据可以使用pandas的read_csv函数,例如: ``` import pandas as pd data = pd.read_csv('task1_data.csv') ``` 然后,对数据进行预处理,包括归一化等操作。接下来,使用PCA进行降维,可以通过设置n_components参数来指定目标维度值,例如将数据降维到8维: ``` from sklearn.decomposition import PCA pca = PCA(n_components=8) x_pca = pca.fit_transform(x_norm) ``` 在降维后,可以计算各成分投影数据方差和方差的比例: ``` var = pca.explained_variance_ var_ratio = pca.explained_variance_ratio_ ``` 对于比例占比,如果前两个维度的占比和接近0.8-0.9,可能信息已经足够了。但需要具体情况具体分析,看对结果有影响的重要信息是否有保留下来,因为并不是说不到0.8就不行。可以使用print函数输出结果: ``` print(var) print(var_ratio) print(sum(var_ratio)) ``` 以上就是使用PCA进行异常检测Python代码实现。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [python机器学习异常检测与主成分分析](https://blog.csdn.net/weixin_55579895/article/details/123508174)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值