python数据分析之金融欺诈行为检测

python数据分析之金融欺诈行为检测

1. 项目的思维导图
   

2. 数据分析与处理

• 声明所使用的库

`import numpy as np   
import pandas as pd   #panda主要用于处理结构化的数据列表，具有数据挖掘和数据分析，对数据进行清洗
import matplotlib.pyplot as plt    #绘图工具
import matplotlib.cm as cm     #色彩映射函数
import seaborn as sns    #基于Matplotlib图形可视化的python包，便于做出统计图表

from sklearn import preprocessing    #数据建模用的一个库
from scipy.stats import skew,boxcox
import os`

• 处理数据的结构
  注意：代码中处理的是csv文件，这里为了简单明了，使用excel呈现出
  

关于数据列的解释如下
（1）step:对应现实中的时间单位（小时）
（2）type:转账类型
（3）amout:金额
（4）nameOrig: 转账发起人
（5）oldbalanceOrg: 转帐前发起人账户余额
（6）newbalanceOrig: 转账后发起人账户余额
（7）nameDest: 转账收款人
（8）oldbalanceDest: 转账前收款人账户余额，收款人是商户（M开头）时没有该项信息
（9）newbalanceDest: 转账后收款人余额，收款人是商户（M开头）时没有该项信息
（10）isFraud：该转账行为是欺诈行为
（11）isFlaggedFraud: 商业模型为了控制大额转账并且标记为非法操作，在这儿，非法操作是指转账金额超过20万。

• 读取文件
  在代码所在的文件夹中创建一个新的文件夹，用于存放数据集

dataset_path='./pythonjinrong'
csvfile_path=os.path.join(dataset_path,'PS.csv')

#解压数据集
raw_data=pd.read_csv(csvfile_path)

• 统计数据集中的各转账类型的数量

print('转账类型记录统计：')
print(raw_data['type'].value_counts())
fig,ax=plt.subplots(1,1,figsize=(8,4))
raw_data['type'].value_counts().plot(kind='bar',title='Transaction Type',ax=ax,figsize=(8,4))
plt.show()

结果会输出统计数量结果，以及绘制柱形图，从下图中可以看出数量最多的类型是支付类型（PAYMENT)，共1391例，最少的是借款（DEBIT)，共152例

• 查看各类型中欺诈行为的数量
  （1）首先，用“0”表示没有欺诈行为，用“1”表示存在欺诈行为
  （2）统计存在欺诈行为的类型的数量

#查看转账类型和欺诈标记的记录
ax=raw_data.groupby(['type','isFraud']).size().plot(kind='bar')
ax.set_title('#of transactions vs (type+isFraud)')
ax.set_xlabel('(type,isFraud)')
ax.set_ylabel('#of transaction')
#添加标注
for p in ax.patches:
    ax.annotate(str(format(int(p.get_height()),',d')),(p.get_x(),p.get_height()*1.01))

（3）运行结果如下

从结果分析，存在欺诈行为的类型有现金提取（CASH_OUT)和转账(DEBIT)

• 使用箱线图比较欺诈行为和正常行为

#对数据进行分析
fig,axs=plt.subplots(2,2,figsize=(10,10))
transfer_data=raw_data[raw_data['type']=='TRANSFER']

a=sns.boxplot(x='isFlaggedFraud',y='amount',data=transfer_data,ax=axs[0][0])
axs[0][0].set_yscale('log')   #比较金额

b=sns.boxplot(x='isFlaggedFraud',y='oldbalanceDest',data=transfer_data,ax=axs[0][1])
axs[0][1].set(ylim=(0,0.5e8)) #比较转账前收款人账户余额

c=sns.boxplot(x='isFlaggedFraud',y='oldbalanceOrg',data=transfer_data,ax=axs[1][0])
axs[1][0].set(ylim=(0,3e7))    #比较转账前付款人的账户余额

d=sns.regplot(x='oldbalanceOrg',y='amount',data=transfer_data[transfer_data['isFlaggedFraud']==1])   
plt.show()   

由于小编的电脑内存仅剩几个G，所以跑不动高达481968k的数据集，所以自己提取了204K的数据运行，但结果不佳，图1是204k数据跑的结果，图2、3是换了设备后大数据集的结果



结果差别还是挺大的，所以还是要有一台配置好的电脑。
从大数据集跑出来的结果可以分析出以下几个特点
图（1）欺诈行为涉及的金额大——重要特点
图（4）之前账户的余额与转账金额的关系——可能呈线性关系

• 数据处理（数据清洗和数据合并）

（1）首先将数据集中不存在欺诈行为的类型去掉，保留存在欺诈的取款和转账两种类型，然后重新设置索引

 #数据处理：包括数据清洗和样本数据合并
used_data=raw_data[(raw_data['type']=='TRANSFER') | (raw_data['type']=='CASH_OUT')]
#去掉不用的数据
used_data.drop(['step','nameOrig','nameDest','isFlaggedFraud'],axis=1,inplace=True)
#重新设置索引
used_data=used_data.reset_index(drop=True)

（2）将取款（CASH_OUT)和转账（DEBIT)两种类型分别表示为“0”和“1”

#将type转换成类别数据，即0，1
type_label_encoder=preprocessing.LabelEncoder()
type_category=type_label_encoder.fit_transform(used_data['type'].values)
used_data['typeCategory']=type_category

#print(used_data.head())

sns.heatmap(used_data.corr()) #使用PRT相关技术分析变量间的相关性

预览前五行数据可以看到处理后的表格

在输出结果中，通过typeCategory这一列，我们可以看到两种类型都已被编码
相关程度图如下，颜色越浅，相关度越高

从图中可以看出，转帐前和转账后付款人和收款人的余额有很大的相关性，余额也跟转账金额有关系。

• 查看转账和取款类型数量

#查看转账类型记录个数
ax=used_data['type'].value_counts().plot(kind='bar',title="Transaction Type",figsize=(6,6))
for p in ax.patches:
    ax.annotate(str(format(int(p.get_height()),',d')),(p.get_x(),p.get_height()*1.01))
plt.show()

结果如下：

从这个图中可以看出取款类型多于转账类型
注意：绘制此图时，建议把绘制相关性图的那行代码注释掉，不然画出来的两个图就混到一起了。

• 查看正常行为与欺诈行为数量

#查看转账类型中欺诈记录个数
ax1=pd.value_counts(used_data['isFraud'],sort=True).sort_index().plot(kind='bar',title="Fraud Transaction Count")
for p in ax1.patches:
    ax1.annotate(str(format(int(p.get_height()),',d')),(p.get_x(),p.get_height()*1.01))
plt.show()

结果如下

从这张图可以看出，正常行为远远多于欺诈行为。

3. 数学模型的构建

（1）准备模型
由上面的分析可知，金融欺诈行为数量远远小于正常行为，为了构建模型，采用下采样法取出与欺诈行为数量相等的正常行为，然后输出比例验证下采样法。

#准备模型
feature_names=['amount','oldbalanceOrg','newbalanceOrig','oldbalanceDest','newbalanceDest','typeCategory']
X=used_data[feature_names]
y=used_data['isFraud']
#print(X.head())      
#print(y.head()) 
        

#用下采样法处理不平衡数据
#欺诈记录的条数
number_records_fraud=len(used_data[used_data['isFraud']==1])
#欺诈记录的索引
fraud_indices=used_data[used_data['isFraud']==1].index.values

#得到非欺诈记录的索引
nonfraud_indices=used_data[used_data['isFraud']==0].index

#随即选取相同数量的非欺诈记录
random_nonfraud_indices=np.random.choice(nonfraud_indices,number_records_fraud,replace=False)
random_nonfraud_indices=np.array(random_nonfraud_indices)

#整合两样本的索引
under_sample_indices=np.concatenate([fraud_indices,random_nonfraud_indices])
under_sample_data=used_data.iloc[under_sample_indices,:]

X_undersample=under_sample_data[feature_names].values
y_undersample=under_sample_data['isFraud'].values

print("非欺诈记录比例:",len(under_sample_data[under_sample_data['isFraud']==0])/len(under_sample_data))
print("欺诈记录比例：",len(under_sample_data[under_sample_data['isFraud']==1])/len(under_sample_data))
print("欠采样记录数：",len(under_sample_data))

比例输出结果如下：

从之前的统计中可以知道金融欺诈行为的数量为16，取出相同数量的正常行为16例，所以欠采样记录数为32

（2）模型构建
采用逻辑回归模型，该模型主要用于分类问题，特别是分为0和1两类的问题

#数据建模
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve,auc

#分割训练集和测试集
X_train,X_test,y_train,y_test=train_test_split(X_undersample,y_undersample,test_size=0.3,random_state=0)

lr_model=LogisticRegression()
lr_model.fit(X_train,y_train)

y_pred_score=lr_model.predict_proba(X_test)

fpr,tpr,thresholds=roc_curve(y_test,y_pred_score[:,1])
roc_auc=auc(fpr,tpr)

#绘制ROC曲线
plt.title('Receiver Operating Characteristic')
plt.plot(fpr,tpr,'b',label='AUC=%0.2f'%roc_auc)
plt.legend(loc='lower right')
plt.plot([0,1],[0,1],'r--')
plt.xlim([-0.1,1.0])
plt.ylim([-0.1,1.01])
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate')
plt.show()

ROC曲线的AUC越接近1，说明模型越好，在这儿AUC=0.78，说明模型还可以。

然后，项目就做完了。

• 参考网站
  1、小象学院：http://aidaxue.xfyun.cn/course/courseDetail?id=370

备注：数据在kaggle里，链接：https://www.kaggle.com/ntnu-testimon/paysim1