银行卡盗刷预测(不平衡数据处理)

银行卡盗刷预测(不平衡数据处理)

作者:紫雨

目录

1. 提出问题
2. 理解数据

• 导入数据
• 查看数据集信息

3. 建立分类模型

• 逻辑回归
• 随机森林

4. 数据不平衡处理(SMOTE)
5. 重新建立模型

• SMOTE+逻辑回归
• SMOTE+随机森林

6. 结论

1.提出问题

何种情况下,银行卡容易被盗刷

2.理解数据

2.1导入数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import matplotlib.gridspec as gridspec   #绘制多张子图
%matplotlib inline

df=pd.read_csv('creditcard.csv')

2.2查看数据集信息

df.head()

df.info()    #查看数据类型、空值情况

df.isnull().sum()   #空值求和,确认有无空值

2.2.1从正常和盗刷统计分布观察

#查看数据分布情况
print('统计分布:正常(0) vs. 盗刷(1)')
print(df['Class'].value_counts())      #分类求和
plt.style.use('ggplot')                  #sns.set_style('darkgrid')
df['Class'].value_counts().plot.bar() # sns.countplot(df['Class'])
plt.title('Distribution')
plt.xlabel('Class')
plt.ylabel('transaction')
plt.xticks(ticks=[0,1],labels=['正常(0)','盗刷(1)'],rotation=0)
plt.show()

2.2.2从交易金额观察

normal=df[df['Class']==0]                                               #选出正常刷卡数据
fraud=df[df['Class']==1]                                                 #选出盗刷卡数据
print('正常交易金额统计\n' , normal['Amount'].describe())     #换行键\n和文本都在引号内,\n不放引号外
print('\n盗刷交易金额统计\n' , fraud['Amount'].describe())

plt.figure(figsize=(10,5))        #设置画布大小
ax1=plt.subplot(121)            
sns.boxplot(x='Class',y='Amount',data=df,ax=ax1)
plt.title('Amount distribution')

ax2=plt.subplot(122)
df['Amount_log']=np.log(df['Amount']+0.01)  #最小值为0,0的话不能直接log,所以加一个比较小的数保证能够进行变换,或者使用np.log1p(df['Amount'])
sns.boxplot(x='Class',y='Amount_log',data=df,ax=ax2)
plt.title('Distribution in log transformation')
plt.show()

2.2.3从正常和盗刷其他特征分布观察

list=df.iloc[:,1:29].columns                #选出第2列至第第29列的列名并制成列表

grid=gridspec.GridSpec(14,2)           #制作14*2的画布
plt.figure(figsize=(15,40))
for i,col in enumerate(df[