Kaggle项目：信用贷款欺诈检测

已于 2023-06-09 12:43:21 修改
阅读量2.3k 收藏 25
点赞数 1
文章标签： python 数据分析 机器学习
于 2023-06-09 10:00:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gkqjohn/article/details/131121181
版权

Kaggle项目：信用贷款欺诈检测

Credit Card Fraud Detection

数据背景: 在批准客户的贷款时，探索所有的可能性。

数据内容: 数据集分为3个csv表，其中：'application_data.csv’为主表，有307510行和122列，包括目标列；'columns_description.csv’用于对其他表各字段的含义进行解释；'previous_application.csv’为以前的申请数据。

数据来源链接： https://www.kaggle.com/datasets/mishra5001/credit-card?datasetId=263888&sortBy=voteCount&select=application_data.csv

以下通过Python对信用卡数据进行清理和探索性数据分析（Exploratory Data Analysis），并尝试预测信用欺诈：

一、数据准备及概览

#引入库
import numpy as np 
import pandas as pd 
import seaborn as sns
import matplotlib.pyplot as plt
from scipy import stats
from collections import Counter
import warnings
warnings.filterwarnings("ignore")

#引入机器学习库
from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import OneHotEncoder

from sklearn.ensemble import RandomForestClassifier

from sklearn.metrics import accuracy_score,f1_score,precision_score, recall_score
from sklearn.metrics import confusion_matrix

from imblearn.pipeline import make_pipeline
from imblearn.over_sampling import SMOTE

# 正常显示中文和负号
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

data = pd.read_csv('application_data.csv')
origin = data.copy()
data.head()
SK_ID_CURRTARGETNAME_CONTRACT_TYPECODE_GENDERFLAG_OWN_CARFLAG_OWN_REALTYCNT_CHILDRENAMT_INCOME_TOTALAMT_CREDITAMT_ANNUITY...FLAG_DOCUMENT_18FLAG_DOCUMENT_19FLAG_DOCUMENT_20FLAG_DOCUMENT_21AMT_REQ_CREDIT_BUREAU_HOURAMT_REQ_CREDIT_BUREAU_DAYAMT_REQ_CREDIT_BUREAU_WEEKAMT_REQ_CREDIT_BUREAU_MONAMT_REQ_CREDIT_BUREAU_QRTAMT_REQ_CREDIT_BUREAU_YEAR
01000021Cash loansMNY0202500.0406597.524700.5...00000.00.00.00.00.01.0
11000030Cash loansFNN0270000.01293502.535698.5...00000.00.00.00.00.00.0
21000040Revolving loansMYY067500.0135000.06750.0...00000.00.00.00.00.00.0
31000060Cash loansFNY0135000.0312682.529686.5...0000NaNNaNNaNNaNNaNNaN
41000070Cash loansMNY0121500.0513000.021865.5...00000.00.00.00.00.00.0

5 rows × 122 columns

data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 307511 entries, 0 to 307510
Columns: 122 entries, SK_ID_CURR to AMT_REQ_CREDIT_BUREAU_YEAR
dtypes: float64(65), int64(41), object(16)
memory usage: 286.2+ MB

#查看数据集是否平衡
fraud = len(data[data.TARGET == 1])
legit = len(data[data.TARGET == 0])
print("欺诈交易的数量：", fraud)
print("欺诈交易占比： {:.4f} %".format(fraud/(fraud+legit)*100))

欺诈交易的数量： 24825
欺诈交易占比： 8.0729 %

二、数据清洗

#检查是否有重复值
print('数据集中重复记录个数： ', data.duplicated().sum())

数据集中重复记录个数：  0

#新增列——是否有申请过
data2 = pd.read_csv('previous_application.csv')
id_num = data2['SK_ID_CURR'][data2['AMT_APPLICATION']!=0.0].unique()
data['HAS_APPLIED'] = data['SK_ID_CURR'].isin(id_num).astype(int)

#删除ID字段
data.drop('SK_ID_CURR',axis=1,inplace=True)

#找出含缺失值的列，并求缺失值占比
per_null = data.isnull().sum().sort_values(ascending = False)/len(data)
per_null[per_null>0].head()

COMMONAREA_MODE             0.698723
COMMONAREA_AVG              0.698723
COMMONAREA_MEDI             0.698723
NONLIVINGAPARTMENTS_MEDI    0.694330
NONLIVINGAPARTMENTS_AVG     0.694330
dtype: float64

#缺失值占比可视化
fig, ax = plt.subplots(figsize=(6, 12))
per_null[per_null>0].plot(kind='barh',ax=ax,title='缺失值占比')

<AxesSubplot:title={'center':'缺失值占比'}>

在这里插入图片描述

#删除缺失值占比大于40%的列
null_col_name = per_null[per_null>0.4].index
data.drop(null_col_name,axis=1,inplace=True)

三、探索性数据分析（EDA）

（一）Object 类型字段

#Object类型字段
print("Object类型字段：",np.count_nonzero(data.select_dtypes('object').columns))
print(data.select_dtypes('object').columns)

Object类型字段： 12
Index(['NAME_CONTRACT_TYPE', 'CODE_GENDER', 'FLAG_OWN_CAR', 'FLAG_OWN_REALTY',
       'NAME_TYPE_SUITE', 'NAME_INCOME_TYPE', 'NAME_EDUCATION_TYPE',
       'NAME_FAMILY_STATUS', 'NAME_HOUSING_TYPE', 'OCCUPATION_TYPE',
       'WEEKDAY_APPR_PROCESS_START', 'ORGANIZATION_TYPE'],
      dtype='object')

#求缺失值数量和占比的函数
def missing(df):
    total = df.isnull().sum().sort_values(ascending = False)
    total = total[total>0]
    percent = df.isnull().sum().sort_values(ascending = False)/len(df)*100
    percent = percent[percent>0]
    return pd.concat([total, percent], axis=1, keys=['Total','Percentage'])

#查看是否有缺失值
missing(data.select_dtypes('object'))
TotalPercentage
OCCUPATION_TYPE9639131.345545
NAME_TYPE_SUITE12920.420148
#缺失值处理，用字符串'NaN'填充
data['OCCUPATION_TYPE'].fillna('NaN',inplace=True)
data['NAME_TYPE_SUITE'].fillna('NaN',inplace=True)

#查看是否有缺失值
missing(data.select_dtypes('object'))
TotalPercentage
#卡方检验(Chi_square_test)
for x in ['NAME_CONTRACT_TYPE', 'CODE_GENDER', 'FLAG_OWN_CAR',
 'FLAG_OWN_REALTY','NAME_TYPE_SUITE', 'NAME_INCOME_TYPE',
 'NAME_EDUCATION_TYPE','NAME_FAMILY_STATUS', 'NAME_HOUSING_TYPE', 
 'OCCUPATION_TYPE','WEEKDAY_APPR_PROCESS_START', 'ORGANIZATION_TYPE']:
    
    #原假设H0(null hypothesis):原假设是变量独立的，实际观测频率和理论频率一致。    
    c_table = np.array(pd.crosstab(data['TARGET'],data[x]))
    stat,p,dof,expected = stats.chi2_contingency(c_table)# stat卡方统计值，p：P_value，dof 自由度，expected理论频率分布
    prob = 0.95 # 选取95%置信度
    critical = stats.chi2.ppf(prob,dof)  # 计算临界阀值
    print('probality=%.3f,critical=%.3f,stat=%.3f '%(prob,critical,stat))
    if abs(stat)>=critical:
        print(x,':拒绝原假设，变量不独立')
    else:
        print(x,':接受原假设，变量独立')

probality=0.950,critical=3.841,stat=293.151 
NAME_CONTRACT_TYPE :拒绝原假设，变量不独立
probality=0.950,critical=5.991,stat=920.791 
CODE_GENDER :拒绝原假设，变量不独立
probality=0.950,critical=3.841,stat=146.656 
FLAG_OWN_CAR :拒绝原假设，变量不独立
probality=0.950,critical=3.841,stat=11.576 
FLAG_OWN_REALTY :拒绝原假设，变量不独立
probality=0.950,critical=14.067,stat=45.190 
NAME_TYPE_SUITE :拒绝原假设，变量不独立
probality=0.950,critical=14.067,stat=1253.471 
NAME_INCOME_TYPE :拒绝原假设，变量不独立
probality=0.950,critical=9.488,stat=1019.213 
NAME_EDUCATION_TYPE :拒绝原假设，变量不独立
probality=0.950,critical=11.070,stat=504.694 
NAME_FAMILY_STATUS :拒绝原假设，变量不独立
probality=0.950,critical=11.070,stat=420.556 
NAME_HOUSING_TYPE :拒绝原假设，变量不独立
probality=0.950,critical=28.869,stat=1975.083 
OCCUPATION_TYPE :拒绝原假设，变量不独立
probality=0.950,critical=12.592,stat=15.388 
WEEKDAY_APPR_PROCESS_START :拒绝原假设，变量不独立
probality=0.950,critical=75.624,stat=1609.241 
ORGANIZATION_TYPE :拒绝原假设，变量不独立

#数据描述
data.describe(include=['O'])
NAME_CONTRACT_TYPECODE_GENDERFLAG_OWN_CARFLAG_OWN_REALTYNAME_TYPE_SUITENAME_INCOME_TYPENAME_EDUCATION_TYPENAME_FAMILY_STATUSNAME_HOUSING_TYPEOCCUPATION_TYPEWEEKDAY_APPR_PROCESS_STARTORGANIZATION_TYPE
count307511307511307511307511307511307511307511307511307511307511307511307511
unique23228856619758
topCash loansFNYUnaccompaniedWorkingSecondary / secondary specialMarriedHouse / apartmentNaNTUESDAYBusiness Entity Type 3
freq278232202448202924213312248526158774218391196432272868963915390167992

（二）Float 类型字段

#Float类型字段
print("Float类型字段：",np.count_nonzero(data.select_dtypes('float').columns))
print(data.select_dtypes('float').columns)

Float类型字段： 20
Index(['AMT_INCOME_TOTAL', 'AMT_CREDIT', 'AMT_ANNUITY', 'AMT_GOODS_PRICE',
       'REGION_POPULATION_RELATIVE', 'DAYS_REGISTRATION', 'CNT_FAM_MEMBERS',
       'EXT_SOURCE_2', 'EXT_SOURCE_3', 'OBS_30_CNT_SOCIAL_CIRCLE',
       'DEF_30_CNT_SOCIAL_CIRCLE', 'OBS_60_CNT_SOCIAL_CIRCLE',
       'DEF_60_CNT_SOCIAL_CIRCLE', 'DAYS_LAST_PHONE_CHANGE',
       'AMT_REQ_CREDIT_BUREAU_HOUR', 'AMT_REQ_CREDIT_BUREAU_DAY',
       'AMT_REQ_CREDIT_BUREAU_WEEK', 'AMT_REQ_CREDIT_BUREAU_MON',
       'AMT_REQ_CREDIT_BUREAU_QRT', 'AMT_REQ_CREDIT_BUREAU_YEAR'],
      dtype='object')

#查看是否有缺失值
missing(data.select_dtypes('float'))
TotalPercentage
EXT_SOURCE_36096519.825307
AMT_REQ_CREDIT_BUREAU_YEAR4151913.501631
AMT_REQ_CREDIT_BUREAU_QRT4151913.501631
AMT_REQ_CREDIT_BUREAU_MON4151913.501631
AMT_REQ_CREDIT_BUREAU_WEEK4151913.501631
AMT_REQ_CREDIT_BUREAU_DAY4151913.501631
AMT_REQ_CREDIT_BUREAU_HOUR4151913.501631
OBS_60_CNT_SOCIAL_CIRCLE10210.332021
DEF_60_CNT_SOCIAL_CIRCLE10210.332021
DEF_30_CNT_SOCIAL_CIRCLE10210.332021
OBS_30_CNT_SOCIAL_CIRCLE10210.332021
EXT_SOURCE_26600.214626
AMT_GOODS_PRICE2780.090403
AMT_ANNUITY120.003902
CNT_FAM_MEMBERS20.000650
DAYS_LAST_PHONE_CHANGE10.000325
#缺失值处理，用众数填充空值，'AMT_GOODS_PRICE'、'AMT_ANNUITY'字段待后续处理
for col in ['EXT_SOURCE_3', 'AMT_REQ_CREDIT_BUREAU_YEAR',
           'AMT_REQ_CREDIT_BUREAU_QRT', 'AMT_REQ_CREDIT_BUREAU_MON',
           'AMT_REQ_CREDIT_BUREAU_WEEK', 'AMT_REQ_CREDIT_BUREAU_DAY',
           'AMT_REQ_CREDIT_BUREAU_HOUR', 'OBS_60_CNT_SOCIAL_CIRCLE',
           'DEF_60_CNT_SOCIAL_CIRCLE', 'DEF_30_CNT_SOCIAL_CIRCLE',
           'OBS_30_CNT_SOCIAL_CIRCLE', 'EXT_SOURCE_2', 'CNT_FAM_MEMBERS', 
           'DAYS_LAST_PHONE_CHANGE']:
    data[col].fillna(data[col].mode()[0],inplace=True)

#查看是否有缺失值
missing(data.select_dtypes('float'))
TotalPercentage
AMT_GOODS_PRICE2780.090403
AMT_ANNUITY120.003902
#数值为整数的字段类型转为int
ct_cols = ['DAYS_REGISTRATION', 'CNT_FAM_MEMBERS', 'OBS_30_CNT_SOCIAL_CIRCLE', 'DEF_30_CNT_SOCIAL_CIRCLE',
           'OBS_60_CNT_SOCIAL_CIRCLE', 'DEF_60_CNT_SOCIAL_CIRCLE', 'DAYS_LAST_PHONE_CHANGE',
           'AMT_REQ_CREDIT_BUREAU_YEAR','AMT_REQ_CREDIT_BUREAU_QRT', 'AMT_REQ_CREDIT_BUREAU_MON',
           'AMT_REQ_CREDIT_BUREAU_WEEK', 'AMT_REQ_CREDIT_BUREAU_DAY','AMT_REQ_CREDIT_BUREAU_HOUR']
for col in ct_cols:
    data[col]=data[col].astype(int)

#数据描述
data.describe(include=['float'])
AMT_INCOME_TOTALAMT_CREDITAMT_ANNUITYAMT_GOODS_PRICEREGION_POPULATION_RELATIVEEXT_SOURCE_2EXT_SOURCE_3
count3.075110e+053.075110e+05307499.0000003.072330e+05307511.0000003.075110e+05307511.000000
mean1.687979e+055.990260e+0527108.5739095.383962e+050.0208685.139023e-010.557531
std2.371231e+054.024908e+0514493.7373153.694465e+050.0138311.911477e-010.198114
min2.565000e+044.500000e+041615.5000004.050000e+040.0002908.173617e-080.000527
25%1.125000e+052.700000e+0516524.0000002.385000e+050.0100063.907824e-010.417100
50%1.471500e+055.135310e+0524903.0000004.500000e+050.0188505.654672e-010.604113
75%2.025000e+058.086500e+0534596.0000006.795000e+050.0286636.634218e-010.746300
max1.170000e+084.050000e+06258025.5000004.050000e+060.0725088.549997e-010.896010
# 箱线图函数
def boxplots_custom(dataset, columns_list, rows, cols, suptitle):
    fig, axs = plt.subplots(rows, cols, sharey=True, figsize=(12,4))
    fig.suptitle(suptitle,y=1, size=25)
    axs = axs.flatten()
    for i, data in enumerate(columns_list):
        sns.boxplot(data=dataset[data], orient='h', ax=axs[i])
        axs[i].set_title(data + ', skewness is: '+str(round(dataset[data].skew(axis = 0, skipna = True),2)))

#异常值暂不处理
boxplots_custom(dataset=data.select_dtypes('float'), columns_list=data.select_dtypes('float').columns, 
                rows=2, cols=4, suptitle='箱线图')
plt.tight_layout()

在这里插入图片描述

#用相关性热图识别特征的多重共线性
plt.figure(figsize = (4,4))
corr = data.select_dtypes('float').corr()
mask = np.triu(np.ones_like(corr, dtype=bool))
sns.heatmap(corr, mask = mask, center = 0,square = True, cmap="viridis",linewidths = .6,vmin=-1, vmax=1)
plt.title('Correlation Table')

Text(0.5, 1.0, 'Correlation Table')

在这里插入图片描述

#删除多余的特征
data.drop(['AMT_GOODS_PRICE','AMT_ANNUITY'],axis=1,inplace=True)

missing(data.select_dtypes('float'))
TotalPercentage

（三）Int 类型字段

#Int类型字段
print("Int类型字段：",np.count_nonzero(data.select_dtypes('int').columns))
print(data.select_dtypes('int').columns)

Int 类型字段： 54
Index(['TARGET', 'CNT_CHILDREN', 'DAYS_BIRTH', 'DAYS_EMPLOYED',
       'DAYS_REGISTRATION', 'DAYS_ID_PUBLISH', 'FLAG_MOBIL', 'FLAG_EMP_PHONE',
       'FLAG_WORK_PHONE', 'FLAG_CONT_MOBILE', 'FLAG_PHONE', 'FLAG_EMAIL',
       'CNT_FAM_MEMBERS', 'REGION_RATING_CLIENT',
       'REGION_RATING_CLIENT_W_CITY', 'HOUR_APPR_PROCESS_START',
       'REG_REGION_NOT_LIVE_REGION', 'REG_REGION_NOT_WORK_REGION',
       'LIVE_REGION_NOT_WORK_REGION', 'REG_CITY_NOT_LIVE_CITY',
       'REG_CITY_NOT_WORK_CITY', 'LIVE_CITY_NOT_WORK_CITY',
       'OBS_30_CNT_SOCIAL_CIRCLE', 'DEF_30_CNT_SOCIAL_CIRCLE',
       'OBS_60_CNT_SOCIAL_CIRCLE', 'DEF_60_CNT_SOCIAL_CIRCLE',
       'DAYS_LAST_PHONE_CHANGE', 'FLAG_DOCUMENT_2', 'FLAG_DOCUMENT_3',
       'FLAG_DOCUMENT_4', 'FLAG_DOCUMENT_5', 'FLAG_DOCUMENT_6',
       'FLAG_DOCUMENT_7', 'FLAG_DOCUMENT_8', 'FLAG_DOCUMENT_9',
       'FLAG_DOCUMENT_10', 'FLAG_DOCUMENT_11', 'FLAG_DOCUMENT_12',
       'FLAG_DOCUMENT_13', 'FLAG_DOCUMENT_14', 'FLAG_DOCUMENT_15',
       'FLAG_DOCUMENT_16', 'FLAG_DOCUMENT_17', 'FLAG_DOCUMENT_18',
       'FLAG_DOCUMENT_19', 'FLAG_DOCUMENT_20', 'FLAG_DOCUMENT_21',
       'AMT_REQ_CREDIT_BUREAU_HOUR', 'AMT_REQ_CREDIT_BUREAU_DAY',
       'AMT_REQ_CREDIT_BUREAU_WEEK', 'AMT_REQ_CREDIT_BUREAU_MON',
       'AMT_REQ_CREDIT_BUREAU_QRT', 'AMT_REQ_CREDIT_BUREAU_YEAR',
       'HAS_APPLIED'],
      dtype='object')

#查看是否有缺失值
missing(data.select_dtypes('int'))
TotalPercentage
#用相关性热图识别特征的多重共线性
plt.figure(figsize = (11,11))
corr = data.select_dtypes('int').corr()
mask = np.triu(np.ones_like(corr, dtype=bool))
sns.heatmap(corr, mask = mask, center = 0,square = True, cmap="viridis",linewidths = .6,vmin=-1, vmax=1)
plt.title('Correlation Table')

Text(0.5, 1.0, 'Correlation Table')

在这里插入图片描述

#删除多余的特征
data.drop(['CNT_FAM_MEMBERS', 'FLAG_EMP_PHONE', 'REGION_RATING_CLIENT_W_CITY','LIVE_REGION_NOT_WORK_REGION',\
           'LIVE_CITY_NOT_WORK_CITY', 'OBS_60_CNT_SOCIAL_CIRCLE','DEF_60_CNT_SOCIAL_CIRCLE'],axis=1,inplace=True)

#关于天数的字段转换为年
for col in data.select_dtypes('int').columns:
    if col[:4]=="DAYS":
        data[col]=round(-data[col]/365,0).astype('int')

#将定性变量字段转换为字符字段
convert_cols = ['FLAG_MOBIL', 'FLAG_WORK_PHONE','FLAG_CONT_MOBILE', 'FLAG_PHONE',
 'FLAG_EMAIL','REGION_RATING_CLIENT','HOUR_APPR_PROCESS_START', 
 'REG_REGION_NOT_LIVE_REGION','REG_CITY_NOT_LIVE_CITY','REG_CITY_NOT_WORK_CITY', 
'FLAG_DOCUMENT_2','FLAG_DOCUMENT_3', 'FLAG_DOCUMENT_4', 'FLAG_DOCUMENT_5',
'FLAG_DOCUMENT_6', 'FLAG_DOCUMENT_7', 'FLAG_DOCUMENT_8',
'FLAG_DOCUMENT_9', 'FLAG_DOCUMENT_10', 'FLAG_DOCUMENT_11',
'FLAG_DOCUMENT_12', 'FLAG_DOCUMENT_13', 'FLAG_DOCUMENT_14',
'FLAG_DOCUMENT_15', 'FLAG_DOCUMENT_16', 'FLAG_DOCUMENT_17',
'FLAG_DOCUMENT_18', 'FLAG_DOCUMENT_19', 'FLAG_DOCUMENT_20',
'FLAG_DOCUMENT_21', 'HAS_APPLIED']
data[convert_cols] = data[convert_cols].astype('object')

#数据描述
data.describe(include=['int'])
TARGETCNT_CHILDRENDAYS_BIRTHDAYS_EMPLOYEDDAYS_REGISTRATIONDAYS_ID_PUBLISHREG_REGION_NOT_WORK_REGIONOBS_30_CNT_SOCIAL_CIRCLEDEF_30_CNT_SOCIAL_CIRCLEDAYS_LAST_PHONE_CHANGEAMT_REQ_CREDIT_BUREAU_HOURAMT_REQ_CREDIT_BUREAU_DAYAMT_REQ_CREDIT_BUREAU_WEEKAMT_REQ_CREDIT_BUREAU_MONAMT_REQ_CREDIT_BUREAU_QRTAMT_REQ_CREDIT_BUREAU_YEAR
count307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000307511.000000
mean0.0807290.41705243.938646-174.89533713.6594408.1985750.0507691.4175230.1429442.6328620.0055380.0060550.0297230.2312930.2296311.643447
std0.2724190.72212111.964047387.1856619.6593694.1515200.2195262.3983950.4460332.2813460.0780140.1030370.1907280.8568100.7440591.855821
min0.0000000.00000021.000000-1001.0000000.0000000.0000000.0000000.0000000.0000000.0000000.0000000.0000000.0000000.0000000.0000000.000000
25%0.0000000.00000034.0000001.0000006.0000005.0000000.0000000.0000000.0000001.0000000.0000000.0000000.0000000.0000000.0000000.000000
50%0.0000000.00000043.0000003.00000012.0000009.0000000.0000000.0000000.0000002.0000000.0000000.0000000.0000000.0000000.0000001.000000
75%0.0000001.00000054.0000008.00000020.00000012.0000000.0000002.0000000.0000004.0000000.0000000.0000000.0000000.0000000.0000003.000000
max1.00000019.00000069.00000049.00000068.00000020.0000001.000000348.00000034.00000012.0000004.0000009.0000008.00000027.000000261.00000025.000000
# 箱线图函数
def boxplots_custom(dataset, columns_list, rows, cols, suptitle):
    fig, axs = plt.subplots(rows, cols, sharey=True, figsize=(12,7))
    fig.suptitle(suptitle,y=1, size=25)
    axs = axs.flatten()
    for i, data in enumerate(columns_list):
        sns.boxplot(data=dataset[data], orient='h', ax=axs[i])
        axs[i].set_title(data + ', skewness is: '+str(round(dataset[data].skew(axis = 0, skipna = True),2)))

#异常值暂不处理
boxplots_custom(dataset=data.select_dtypes('int'), columns_list=data.select_dtypes('int').columns, 
                rows=4, cols=4, suptitle='箱线图')
plt.tight_layout()

在这里插入图片描述

data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 307511 entries, 0 to 307510
Data columns (total 64 columns):
 #   Column                      Non-Null Count   Dtype  
---  ------                      --------------   -----  
 0   TARGET                      307511 non-null  int64  
 1   NAME_CONTRACT_TYPE          307511 non-null  object 
 2   CODE_GENDER                 307511 non-null  object 
 3   FLAG_OWN_CAR                307511 non-null  object 
 4   FLAG_OWN_REALTY             307511 non-null  object 
 5   CNT_CHILDREN                307511 non-null  int64  
 6   AMT_INCOME_TOTAL            307511 non-null  float64
 7   AMT_CREDIT                  307511 non-null  float64
 8   NAME_TYPE_SUITE             307511 non-null  object 
 9   NAME_INCOME_TYPE            307511 non-null  object 
 10  NAME_EDUCATION_TYPE         307511 non-null  object 
 11  NAME_FAMILY_STATUS          307511 non-null  object 
 12  NAME_HOUSING_TYPE           307511 non-null  object 
 13  REGION_POPULATION_RELATIVE  307511 non-null  float64
 14  DAYS_BIRTH                  307511 non-null  int32  
 15  DAYS_EMPLOYED               307511 non-null  int32  
 16  DAYS_REGISTRATION           307511 non-null  int32  
 17  DAYS_ID_PUBLISH             307511 non-null  int32  
 18  FLAG_MOBIL                  307511 non-null  object 
 19  FLAG_WORK_PHONE             307511 non-null  object 
 20  FLAG_CONT_MOBILE            307511 non-null  object 
 21  FLAG_PHONE                  307511 non-null  object 
 22  FLAG_EMAIL                  307511 non-null  object 
 23  OCCUPATION_TYPE             307511 non-null  object 
 24  REGION_RATING_CLIENT        307511 non-null  object 
 25  WEEKDAY_APPR_PROCESS_START  307511 non-null  object 
 26  HOUR_APPR_PROCESS_START     307511 non-null  object 
 27  REG_REGION_NOT_LIVE_REGION  307511 non-null  object 
 28  REG_REGION_NOT_WORK_REGION  307511 non-null  int64  
 29  REG_CITY_NOT_LIVE_CITY      307511 non-null  object 
 30  REG_CITY_NOT_WORK_CITY      307511 non-null  object 
 31  ORGANIZATION_TYPE           307511 non-null  object 
 32  EXT_SOURCE_2                307511 non-null  float64
 33  EXT_SOURCE_3                307511 non-null  float64
 34  OBS_30_CNT_SOCIAL_CIRCLE    307511 non-null  int32  
 35  DEF_30_CNT_SOCIAL_CIRCLE    307511 non-null  int32  
 36  DAYS_LAST_PHONE_CHANGE      307511 non-null  int32  
 37  FLAG_DOCUMENT_2             307511 non-null  object 
 38  FLAG_DOCUMENT_3             307511 non-null  object 
 39  FLAG_DOCUMENT_4             307511 non-null  object 
 40  FLAG_DOCUMENT_5             307511 non-null  object 
 41  FLAG_DOCUMENT_6             307511 non-null  object 
 42  FLAG_DOCUMENT_7             307511 non-null  object 
 43  FLAG_DOCUMENT_8             307511 non-null  object 
 44  FLAG_DOCUMENT_9             307511 non-null  object 
 45  FLAG_DOCUMENT_10            307511 non-null  object 
 46  FLAG_DOCUMENT_11            307511 non-null  object 
 47  FLAG_DOCUMENT_12            307511 non-null  object 
 48  FLAG_DOCUMENT_13            307511 non-null  object 
 49  FLAG_DOCUMENT_14            307511 non-null  object 
 50  FLAG_DOCUMENT_15            307511 non-null  object 
 51  FLAG_DOCUMENT_16            307511 non-null  object 
 52  FLAG_DOCUMENT_17            307511 non-null  object 
 53  FLAG_DOCUMENT_18            307511 non-null  object 
 54  FLAG_DOCUMENT_19            307511 non-null  object 
 55  FLAG_DOCUMENT_20            307511 non-null  object 
 56  FLAG_DOCUMENT_21            307511 non-null  object 
 57  AMT_REQ_CREDIT_BUREAU_HOUR  307511 non-null  int32  
 58  AMT_REQ_CREDIT_BUREAU_DAY   307511 non-null  int32  
 59  AMT_REQ_CREDIT_BUREAU_WEEK  307511 non-null  int32  
 60  AMT_REQ_CREDIT_BUREAU_MON   307511 non-null  int32  
 61  AMT_REQ_CREDIT_BUREAU_QRT   307511 non-null  int32  
 62  AMT_REQ_CREDIT_BUREAU_YEAR  307511 non-null  int32  
 63  HAS_APPLIED                 307511 non-null  object 
dtypes: float64(5), int32(13), int64(3), object(43)
memory usage: 134.9+ MB

（四）离群值处理

#关于检测包含离群值的记录索引的函数
def IQR_method (df,n,features):
    outlier_list = []
    
    for column in features:
        # 第一个四分位数 (25%)
        Q1 = np.percentile(df[column], 25)
        # 第三个四分位数 (75%)
        Q3 = np.percentile(df[column],75)
        # 四分位距 (IQR)
        IQR = Q3 - Q1
        # outlier step
        outlier_step = 1.5 * IQR
        # 确定含离群值记录的索引
        outlier_list_index = df[(df[column] < Q1 - outlier_step) | (df[column] > Q3 + outlier_step )].index
        # 追加到列表
        outlier_list.extend(outlier_list_index)
        
    # 选择包含n个以上离群值的记录
    outlier_list = Counter(outlier_list)        
    multiple_outliers = list( k for k, v in outlier_list.items() if v > n )
     
    return multiple_outliers

# 检测包含离群值的记录的索引
outliers_indexs = IQR_method(data,0,data.select_dtypes(['float','int']).columns)

#通过TARGET计数分布的对比，欺诈数据均包含在离群值的数据集中
outliers_tar = data.iloc[outliers_indexs]['TARGET'].value_counts()
origin_tar = data['TARGET'].value_counts()
pd.concat([outliers_tar,origin_tar],axis=1,keys=['outlier', 'origin'])
outlierorigin
0179967282686
12482524825
#创建一个仅包含离群值的数据集，用于后续建模
data2 = data.iloc[outliers_indexs].reset_index(drop=True)

四、构造模型对信用欺诈进行预测

#对定性数据进行独热编码
oh = OneHotEncoder(handle_unknown='ignore')
X_obj = oh.fit_transform(data2.select_dtypes('object')).toarray()

#对定性数据进行标准化
scaler = StandardScaler()
X_num = scaler.fit_transform(data2.select_dtypes(['float','int']).drop('TARGET',axis=1))

#创建数据集
X = np.concatenate([X_num,X_obj],axis=1)
y = data2['TARGET']

#创建训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, test_size = 0.3, random_state = 24)

# 使用分类器进行预测(经训练对比，逻辑回归和AdaBoost分类器效果不及随机森林分类器，不再列出)
rf = RandomForestClassifier(random_state = 12, criterion = 'gini',n_estimators=50)
rf.fit(X_train,y_train)
y_predict = rf.predict(X_test)
# 计算精确率、召回率、F1值及混淆矩阵
cm = confusion_matrix(y_test, y_predict)
rf_Precision = precision_score(y_test, y_predict)
rf_Recall = recall_score(y_test, y_predict)
rf_f1 = f1_score(y_test, y_predict)
rf_accuracy = accuracy_score(y_test, y_predict)
# 显示模型评估分数
print("随机森林分类器:")
print('精确率: {:.3f}'.format(rf_Precision))
print('召回率: {:.3f}'.format(rf_Recall))
print('F1值: {:.3f}'.format(rf_f1))
print('准确率: {:.3f}'.format(rf_accuracy))
print('混淆矩阵：')
print(cm)

随机森林分类器:
精确率: 0.939
召回率: 0.139
F1值: 0.243
准确率: 0.895
混淆矩阵：
[[53923    67]
 [ 6411  1037]]

五、找出预测欺诈的重要影响因素

# 特征重要性
importances = rf.feature_importances_

#找出数据集字段名称
print('数据集长度：',len(importances))
df_num=data2.select_dtypes(['float','int']).drop('TARGET',axis=1)
print('定量数据集长度：',df_num.shape[1])
df_obj=pd.get_dummies(data2.select_dtypes('object'))
print('定性数据集长度：',df_obj.shape[1])

数据集长度： 230
定量数据集长度： 20
定性数据集长度： 210

# 标签名称
feat_labels = pd.concat([df_num, df_obj], axis=1).columns

# 下标排序
indices = np.argsort(importances)[::-1] 

# 找出重要性排前10的特征（-号代表左对齐、后补空白，*号代表对齐宽度由输入时确定）
for f in range(10):   
    print("%2d) %-*s %f" % (f + 1, 40, feat_labels[indices[f]], importances[indices[f]]))

 1) EXT_SOURCE_2                             0.072038
 2) EXT_SOURCE_3                             0.063325
 3) AMT_CREDIT                               0.044284
 4) DAYS_BIRTH                               0.042454
 5) AMT_INCOME_TOTAL                         0.040097
 6) DAYS_REGISTRATION                        0.037490
 7) REGION_POPULATION_RELATIVE               0.037468
 8) DAYS_EMPLOYED                            0.036155
 9) DAYS_ID_PUBLISH                          0.032153
10) OBS_30_CNT_SOCIAL_CIRCLE                 0.029426

六、数据不平衡——过采样

#由于正常交易远多于欺诈交易，导致数据不平衡问题，对数据集进行过采样
#过采样Oversampling：SMOTE
smote_pipeline = make_pipeline(SMOTE(random_state=24), 
                               RandomForestClassifier(random_state = 12, criterion = 'gini',n_estimators=50))
smote_pipeline.fit(X_train,y_train)
y_predict = smote_pipeline.predict(X_test)
# 计算精确率、召回率、F1值及混淆矩阵
cm = confusion_matrix(y_test, y_predict)
rf_Precision = precision_score(y_test, y_predict)
rf_Recall = recall_score(y_test, y_predict)
rf_f1 = f1_score(y_test, y_predict)
rf_accuracy = accuracy_score(y_test, y_predict)
# 显示模型评估分数
print("使用SMOTE进行过采样后:")
print('精确率: {:.3f}'.format(rf_Precision))
print('召回率: {:.3f}'.format(rf_Recall))
print('F1值: {:.3f}'.format(rf_f1))
print('准确率: {:.3f}'.format(rf_accuracy))
print('混淆矩阵：')
print(cm)

使用SMOTE进行过采样后:
精确率: 0.875
召回率: 0.211
F1值: 0.340
准确率: 0.901
混淆矩阵：
[[53766   224]
 [ 5876  1572]]

七、结论

  1. 数据处理中，定性数据与定量数据的区分有助于明确数据的含义，从而提高模型预测的效果；
  2. 欺诈数据均包含在离群值的数据集中，符合业务逻辑，可以用仅包含异常值的新数据集建模；
  3. 随机森林分类器训练后，预测的精确率达0.939，而召回率仅有0.139，需要与业务多沟通，不断地调整、新增用户的数据标签；
  4. 通过训练后的模型找出了重要性排前10的特征，按排序分别为外部数据’EXT_SOURCE_2’和’EXT_SOURCE_3’、贷款额度、客户年龄、客户收入、客户最近更改注册信息的年数、客户居住地区的人口、客户工龄、客户最近更改证件信息的年数、客户社会环境可观察到的违约次数（逾期30天）。建议进一步了解外部数据源情况，是否能增加相关标签，以提高模型的效果；
  5. 在训练模型前用SMOTE技术对数据集进行过采样，获得了更好的召回率0.211，但精确率下降到0.875，总体F1值有所提高。
  6. 是否采用SMOTE技术取决于业务决策:若能更好的避免贷款欺诈引发的损失，则采用;相反，若因精确率下降，将正常交易归类为欺诈交易，影响业务的开展，则得不偿失。本案例模型中（正常交易客户的平均贷款额度602,648美元，欺诈客户的平均贷款额度557,778美元），若采用SMOTE技术，召回率的提升（0.072）可多挽回每单约40,160美元的本金损失，而精确率的下降（0.064）导致拒绝正常交易客户的申请失去利润每单约1,928美元每年（假设平均每单利差为5%）。总体来看，若本数据集的时间跨度未超过20年，采用SMOTE技术能给公司带来更高的收益。
Leorio Paladinight
关注
  • 1
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
XYK欺诈检测简介
MusicDancing的博客
04-21 320
时尚健康快乐
实战六：kaggle实战之信用卡欺诈检测
超级圈的博客
07-30 8469
一、案例背景 数据说明：这一份数据是信用卡的消费使用数据，里面的相关数据特征已经经过了处理，我们通过逻辑回归来预测信用卡异常的数据。 观察数据： import pandas as pd import numpy as np import matplotlib.pyplot as plt data = pd.read_csv('./creditcard.csv') print(data.he...
kaggle——信用卡欺诈检测项目实战
热门推荐
weixin_45942265的博客
08-01 1万+
笔记第一步：了解题目，确定任务第二步：场景分析第三步：数据预处理看是否有缺失值查看样本类别分布数据不均衡解决办法数据值标准化/归一化第四步：特征工程1）查看特征分布情况，把不同类别下特征分布相差不大的特征删除掉2）特征缩放第五步：模型训练处理不平衡样本交叉验证求取最好的模型参数第六步：模型评估使用下采样数据训练与测试使用下采样数据训练与测试（不同的阈值对结果的影响）使用下采样数据训练，原始数据进行测试原始数据进行K折交叉验证使用原始数据进行训练和测试查看ROC曲线逻辑回归阈值选择过采样总结 第一步：了解题目
不平衡样本的分类实践---Credit-Card-Fraud-Detection
john_ashley的博客
02-27 601
”明月如霜，好风如水，清景无限 “ 突然找到了一个Credit-Card-Fraud-Detection的数据集，就顺便简单做了一下分类问题。 数据集:链接：https://pan.baidu.com/s/12rjSBqUWvCkXhINbh06M8w 提取码：0ero 壹 具体的代码如下，主要还是讨论不平衡样本分类时，需要进行的处理： 先是直接原数据直接用：（原数据特征已经降维过了） import pandas as pd import numpy as np #导入数据 path=r'C:\Us
Kaggle经典案例—信用卡诈骗检测的完整流程(学习笔记)
12-22
本文此案例的完整流程和涉及知识 首先先看数据 import pandas as pd import matplotlib.pyplot as plt import numpy as np %matplotlib inline data = pd.read_csv("creditcard.csv") data.head() data.shape 好的，它长这个样子。大致解释一下V1-V28都是一系列的指标(具体是什么不用知道)，Amount是交易金额，Class＝0表示是正常操作，而=1表示异常操作。 明确目标：检测是否异常，也就是说是一个二分类问题，接着想到用逻辑回归建模。 1.观察数据特
AI2018L_CREDIT-CARD-FRAUD-DETECTION_2021:信用卡欺诈检测是一个人工智能项目，通过在Kaggle信用卡欺诈检测数据集上应用适当的AI ML算法来检测欺诈或非欺诈性信用卡交易。
03-25
AI2018L_CREDIT-CARD-FRAUD-DETECTION_2021 信用卡欺诈检测是一个人工智能项目，通过在Kaggle信用卡欺诈检测数据集上应用适当的AI / ML算法来检测欺诈性或非欺诈性信用卡交易。 链接到数据集： : 部署环境：烧瓶 主网站文件：app.py 训练模型的文件：main.py 绘制了不同数据图的文件：graphs.py 模板文件夹中存在的网页，即home.html和result.html 样式表存在于静态文件夹（即index.css）中 使用pickle库将main.py文件中的模型转换为model.pkl，可以轻松地将其加载到flask应用程序中 网站的工作：网站将从用户那里输入30个输入要素，因为数据集包含30个要素（列），然后在将训练有素的ML模型应用于用户提供的值之后，将预测交易是否为欺诈行为。 Kaggle信用卡欺诈检测数据
《实战Kaggle比赛：房价预测》数据集
04-25
在数据分析和机器学习领域，Kaggle是一个备受瞩目的平台，它组织了各种竞赛，吸引全球的数据科学家参与解决实际问题。本次实战Kaggle比赛的主题是“房价预测&rdquo;，旨在利用统计学和机器学习技术预测房屋的价格。这个...
Kaggle比赛：.zip
09-30
标题 "Kaggle比赛：.zip" 暗示了这是一个与Kaggle竞赛相关的项目，其中包含了参赛者的源代码。Kaggle是全球最大的数据科学和机器学习平台，经常举办各种数据分析和预测比赛，参与者可以借此提升技能，解决实际问题，...
Kaggle:所有kaggle项目
05-15
【标题】"Kaggle:所有kaggle项目"涵盖了在数据科学竞赛平台Kaggle上使用Python编程语言实施的各种项目。Kaggle是全球知名的数据科学社区，它提供了丰富的数据集和比赛，让数据科学家、机器学习工程师以及对数据分析...
creditcard：信用卡欺诈检测数据集-数据集
03-27
《信用卡欺诈检测：深入理解creditcard数据集》 在当今数字化的世界中，信用卡交易已经成为日常生活中不可或缺的一部分。然而，随之而来的欺诈行为也日益猖獗，对个人和金融机构造成重大损失。为了对抗这一威胁，...
信用卡欺诈检测数据集.zip
04-07
开源的数据集-信用卡欺诈检测数据集 https://www.kaggle.com/mlg-ulb/creditcardfraud kaggle 免费下载的东西为什么要积分要c币？
Credit Card Fraud Detection信用卡欺诈数据集-数据集
03-30
Credit Card Fraud Detection信用卡欺诈数据集-数据集
credit_card_fraud_detection:信用卡欺诈检测-无监督异常检测-分类不平衡-自动编码器
03-14
作者：安德烈·维特（Andre Veit） 领英（LinkedIn）： : 电子邮件： 信用卡欺诈检查 不平衡数据的分类和异常检测 关于本笔记本 欺诈并不是什么新鲜事物，事实上，据《您的钱》网站称，第一个欺诈记录发生在公元前300年。 如今，在互联网和数字化以惊人的速度增长的世界中，每天都通过网络实现数百万笔交易和其他操作。 这意味着欺诈者有很多机会。 幸运的是，相对而言很少。 不幸的是……这个事实使他们很难被抓住。 本笔记本的目的是探索几种处理异常检测和高度不平衡的数据集的方法。 概述： 数据探索与准备 无监督学习-异常检测 2.1。 隔离林2.2。 局部离群因子 监督学习-分类 3.1。 逻辑回归3.2。 随机森林3.3。 支持向量机 自动编码器-无监督和半监督学习 4.1。 无监督学习4.2。 半监督学习 数据集 该数据集来自Kaggle网站，可以通过以下链接找到：
Creditcard-Fraud-Detection:这将解决信用卡欺诈的问题，这是银行和客户的主要问题，以及通过机器学习技术检测欺诈行为的过程
04-13
信用卡欺诈检测 需要：多年来，欺诈一直是银行，医疗，保险等行业的主要问题。 由于通过不同的付款方式（例如信用卡/借记卡，PhonePe，Gpay，Paytm等）增加了在线交易，欺诈活动也有所增加。 此外，欺诈者或犯罪分子已经变得非常熟练地找到逃生场所，以便他们可以掠夺更多东西。由于没有完美的系统，并且始终存在漏洞，因此，建立一个安全的身份验证系统并防止客户受到攻击已成为一项具有挑战性的任务。欺诈罪。 因此，欺诈检测算法对于防止欺诈非常有用。 机器学习的作用： 欺诈检测算法中基于规则的方法或传统方法：在基于规则的方法中，算法由欺诈分析人员编写。 它们基于严格的规则。 如果必须进行任何更改以检测新的欺诈行为，则可以通过在现有算法中进行更改或创建新算法来手动进行更改。 通过这种方法，随着客户和数据数量的增加，人工也随之增加。 因此，基于规则的方法既耗时又昂贵。 基于ML的欺诈检测算法：在基
Credit_Card_Fraud_Detection：用于检测信用卡欺诈的深度学习模型
02-13
Credit_Card_Fraud_Detection 深度学习模型，用于检测信用卡欺诈交易。 数据集 数据集包含2013年9月欧洲持卡人通过信用卡进行的交易。 该数据集显示了两天内发生的交易，在284,807笔交易中，我们有492起欺诈。 数据集高度不平衡，阳性类别（欺诈）占所有交易的0.172％。 数据集链接：-https:
kaggle：我的kaggle项目
02-15
在这个“kaggle：我的kaggle项目&rdquo;中，我们可以推测这是一个用户分享其在Kaggle上参与的项目，可能是为了记录自己的学习过程，或者与他人交流经验。 Kaggle项目通常涉及数据预处理、模型训练、模型优化以及结果可视...
python机器学习实战：信用卡欺诈检测与数据科学的结合
最新发布
sybh的博客
10-21 453
信用卡欺诈是金融领域的一项重要问题，它对银行和信用卡持卡人都构成了严重的威胁。欺诈分子使用各种技术来盗取信用卡信息，进行虚假交易，导致巨额经济损失。信用卡公司和银行需要借助先进的技术来及时检测和预防这些欺诈行为。
欺诈检测论文：Credit Card Fraud Detection in e-Commerce: An Outlier Detection Approach 笔记
weixin_51566363的博客
09-19 503
解决的问题： 信用卡欺诈检测 问题及难点： 1. 欺诈手段会随着时间的推移而变化。欺诈模式的改变是因为欺诈者继续创新新的方法， 以规避防止欺诈的措施。有限的数据和不断变化的模式使学习困难。 2. 获得具有良好非欺诈行为的样本比表现出欺诈模式的样本更容易，因为后者是稀缺且时 变的，类别不平衡问题严重。 方法思想： 1. 通过使用聚类方法的集成为每个数据点分配一个一致性分数来检测大数据集中的异常值。 2. 我们假设与不良行为不同，良好行为不随时间变化，代表良好
信用卡欺诈检测案例 -- 机器学习项目基础篇（2）
python收藏家的博客
07-30 410
信用卡欺诈检测案例 -- 机器学习项目基础篇（2）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值