python数据分析之金融欺诈行为检测

python数据分析之金融欺诈行为检测

1. 项目的思维导图
   

2. 数据分析与处理

• 声明所使用的库

`import numpy as np   
import pandas as pd   #panda主要用于处理结构化的数据列表，具有数据挖掘和数据分析，对数据进行清洗
import matplotlib.pyplot as plt    #绘图工具
import matplotlib.cm as cm     #色彩映射函数
import seaborn as sns    #基于Matplotlib图形可视化的python包，便于做出统计图表

from sklearn import preprocessing    #数据建模用的一个库
from scipy.stats import skew,boxcox
import os`

• 处理数据的结构
  注意：代码中处理的是csv文件，这里为了简单明了，使用excel呈现出
  

关于数据列的解释如下
（1）step:对应现实中的时间单位（小时）
（2）type:转账类型
（3）amout:金额
（4）nameOrig: 转账发起人
（5）oldbalanceOrg: 转帐前发起人账户余额
（6）newbalanceOrig: 转账后发起人账户余额
（7）nameDest: 转账收款人
（8）oldbalanceDest: 转账前收款人账户余额，收款人是商户（M开头）时没有该项信息
（9）newbalanceDest: 转账后收款人余额，收款人是商户（M开头）时没有该项信息
（10）isFraud：该转账行为是欺诈行为
（11）isFlaggedFraud: 商业模型为了控制大额转账并且标记为非法操作，在这儿，非法操作是指转账金额超过20万。

• 读取文件
  在代码所在的文件夹中创建一个新的文件夹，用于存放数据集

dataset_path='./pythonjinrong'
csvfile_path=os.path.join(dataset_path,'PS.csv')

#解压数据集
raw_data=pd.read_csv(csvfile_path)

• 统计数据集中的各转账类型的数量

print('转账类型记录统计：')
print(raw_data['type'].value_counts())
fig,ax=plt.subplots(1,1,figsize=(8,4))
raw_data['type'].value_counts().plot(kind='bar',title='Transaction Type',ax=ax,figsize=(8,4))
plt.show()

结果会输出统计数量结果，以及绘制柱形图，从下图中可以看出数量最多的类型是支付类型（PAYMENT)，共1391例，最少的是借款（DEBIT)，共152例

• 查看各类型中欺诈行为的数量
  （1）首先，用“0”表示没有欺诈行为，用“1”表示存在欺诈行为
  （2）统计存在欺诈行为的类型的数量

#查看转账类型和欺诈标记的记录
ax=raw_data.groupby(['type','isFraud']).size().plot(kind='bar')
ax.set_title('#of transactions vs (type+isFraud)')
ax.set_xlabel('(type,isFraud)')
ax.set_ylabel('#of transaction')
#添加标注
for p in ax.patches:
    ax.annotate