小项目（逻辑回归）--信用卡数据异常检测

最新推荐文章于 2024-09-12 20:40:32 发布

fenfenxhf

最新推荐文章于 2024-09-12 20:40:32 发布

阅读量1.8k

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/fenfenxhf/article/details/82940605

版权

该博客介绍了一个使用逻辑回归进行信用卡数据异常检测的小项目。内容涉及数据集的特性，如Amount列的数值标准化，样本分布的不均衡问题，提出了解决方案包括下采样和过采样。此外，还讨论了交叉验证、模型评估，特别是关注召回率，并推荐使用过采样来平衡数据集。

摘要由CSDN通过智能技术生成

数据下载：creditcard.csv

1.数据集

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_csv('creditcard.csv')
print(data.head(n=5))
countClasses = pd.value_counts(data['Class'],sort=True).sort_index() #计算class列中不同属性的数据的个数
countClasses.plot(kind='bar') #简单的pandas也可以画图
plt.show()

在这里插入图片描述

2.发现Amount这一列数值比较大，在机器学习中特征的重要性偏爱数值比较大的特征，解决办法可以标准化

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler #sklearn数据预处理模块

data = pd.read_csv('creditcard.csv')
dataMatrix = np.mat(data) #将数据变换成矩阵形式

X = dataMatrix[:,:-1] #数据集
y = dataMatrix[:,-1] #标签
scaler = StandardScaler().fit(X) #StandardScaler()这个小括号一定不能忘记，#标准化：(x-mean)/std
dataStand = scaler.transform(X)
print(dataStand[:5,:])

在这里插入图片描述

3.发现样本分布非常不均衡
解决方案：下采样（将多的样本随机选取和少样本一样的数目），过采样（将少样本数目增加到多样本数目）

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler #sklearn数据预处理模块

data = pd.read_csv('creditcard.csv')
dataMatrix = np.mat(data)

X = dataMatrix[:,:-1]
y = dataMatrix[:,-1]
#print(len(y)) #284807
scaler = StandardScaler().fit(X) #标准化ÿ

最低0.47元/天解锁文章