《Give me some credit》的相关分析

最新推荐文章于 2024-04-23 12:14:13 发布
最新推荐文章于 2024-04-23 12:14:13 发布
阅读量1.6k 收藏 19
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaga12323/article/details/115953302
版权

信用评分系统简介：

信用评分系统有着比经验丰富的人更高的判断能力，能够降低银行贷款的风险。本质这套系统的作用是判断某个个人是否会违约，是不是“坏”客户，最终影响能否贷款给该人。信用评分系统有参数也有非参数模型，这里主要用的是非参数模型、有监督学习模型，也就是通过分析其他贷款人地特征，来判断某个个人是否会违约。本文主要讨论主体评级模型的开发过程。

 

一、模型开发流程

信用风险评级模型的主要开发流程如下：

（1） 数据获取和整合，导入数据，将杂乱数据处理为模型所需格式。

（2） 数据预处理（EDA）和探索性数据分析，主要工作包括数据清洗、缺失值处理、获取样本总体的大概情况，比如用直方图、箱形图等、异常值处理，主要是为了将获取的原始数据转化为可用作模型开发的格式化数据。

（3） 变量选择，该步骤主要是通过统计学的方法，筛选出对违约状态影响最显著的指标。这里是单变量特征选择方法和基于机器学习模型的方法 。

（4） 模型开发，该步骤主要包括变量分段、变量的WOE（证据权重）变换和逻辑回归估算三部分。

（5） 模型评估，该步骤主要是评估模型的区分能力、预测能力、稳定性，并形成模型评估报告，得出模型是否可以使用的结论。

（6） 信用评分，根据逻辑回归的系数和WOE等确定信用评分的方法。将Logistic模型转换为标准评分的形式。

（7） 建立评分系统，根据信用评分方法，建立自动信用评分系统。

二、数据获取

数据来源地址：https://www.kaggle.com/c/GiveMeSomeCredit/overview/description

数据集名称：Give Me Some Credit

数据集大小：

Data ictionary.csv(12*3),

cs-test.csv(10W*11),

cs-training.csv(15W*11),

sampleEntry.csv(10W*3)

数据描述：

cs-training.csv

序号变量名变量解释
1SeriousDlqin2yrs近两年内是否出现逾期90天及以上的情况
2RevolvingUtilizationOfUnsecuredLines无担保贷款数量占总贷款数比率
3age借款人年龄
4NumberOfTime30-59DaysPastDueNotWorse近两年内逾期30-59天的次数
5DebtRatio负债比
6MonthlyIncome月收入
7NumberOfOpenCreditLinesAndLoans车房贷的数量
8NumberOfTimes90DaysLate过往逾期90天及以上的次数
9NumberRealEstateLoansOrLines不动产抵押贷款的数量
10NumberOfTime60-89DaysPastDueNotWorse近两年内逾期60-89天的次数
11NumberOfDependents家属数量

Ps:时间窗口：自变量的观察窗口为过去两年，因变量表现窗口为未来两年。

 

三、数据预处理和（EDA）探索性数据分析

3.1 缺失值处理

 这种情况非常常见，在分析前要先去处理，以免给后续的分析带来阻碍，导致一些分析方法不能运用

 缺失值处理的方法，一般包括如下几种。

  1. 直接使用含有缺失值的特征；
  2. 删除含有缺失值的特征（该方法在包含缺失值的属性仅仅包含极少量有效值时是有效的）；
  3. 直接删除含有缺失值的样本；
  4. 缺失值补全：均值插补、建模预测等等

INT：

# Basic packages
import numpy as np
import pandas as pd

# Viz
import matplotlib.pyplot as plt
import seaborn as sns

# settings
import warnings
warnings.filterwarnings("ignore")

from  sklearn.ensemble import RandomForestClassifier
from  sklearn.ensemble import RandomForestRegressor


#载入数据
data = pd.read_csv(r"C:\Users\86180\Desktop\GiveMeSomeCredit (试验)\cs-training.csv",encoding='gb18030')
#数据集确实和分布情况
data.describe().to_csv(r'C:\Users\86180\Desktop\GiveMeSomeCredit (试验)\DataDescribe.csv')
data.describe()

OUT：

 Unnamed: 0SeriousDlqin2yrsRevolvingUtilizationOfUnsecuredLinesageNumberOfTime30-59DaysPastDueNotWorseDebtRatioMonthlyIncomeNumberOfOpenCreditLinesAndLoansNumberOfTimes90DaysLateNumberRealEstateLoansOrLinesNumberOfTime60-89DaysPastDueNotWorseNumberOfDependents
count150000.000000150000.000000150000.000000150000.000000150000.000000150000.0000001.202690e+05150000.000000150000.000000150000.000000150000.000000146076.000000
mean75000.5000000.0668406.04843852.2952070.421033353.0050766.670221e+038.4527600.2659731.0182400.2403870.757222
std43301.4145270.249746249.75537114.7718664.1927812037.8185231.438467e+045.1459514.1693041.1297714.1551791.115086
min1.0000000.0000000.0000000.0000000.0000000.0000000.000000e+000.0000000.0000000.0000000.0000000.000000
25%37500.7500000.0000000.02986741.0000000.0000000.1750743.400000e+035.0000000.0000000.0000000.0000000.000000
50%75000.5000000.0000000.15418152.0000000.0000000.3665085.400000e+038.0000000.0000001.0000000.0000000.000000
75%112500.2500000.0000000.55904663.0000000.0000000.8682548.249000e+0311.0000000.0000002.0000000.0000001.000000
max150000.0000001.00000050708.000000109.00000098.000000329664.0000003.008750e+0658.00000098.00000054.00000098.00000020.000000

INT：

data.isnull().sum()

OUT：

    从以上样本的描述来看，变量MonthlyIncome缺失值比较大，不能直接删除样本，也没有大到可以直接删除特征，所以使用补全的方法，这里使用随机森林进行建模预测；而变量NumberOfDependents的缺失值比较少，这里就直接删除含缺失值的样本。

INT：

# 用随机森林对缺失值预测填充函数
def set_missing(df):
    # 把已有的数值型特征取出来
    process_df = df.iloc[:,[0,1,2,3,4,5,6,7,8,9,10,11]]
    # 分成已知该特征和未知该特征两部分
    known = process_df[process_df.MonthlyIncome.notnull()].values
    unknown = process_df[process_df.MonthlyIncome.isnull()].values
    # X为特征属性值
    X = known[:, [1,2,3,4,5,7,8,9,10]]
    # y为结果标签值
    y = known[:,[6]]
    # fit到RandomForestRegressor之中
    rfr = RandomForestRegressor(random_state=0, 
    n_estimators=200,max_depth=3,n_jobs=-1)
    rfr.fit(X,y)
    # 用得到的模型进行未知特征值预测
    predicted = rfr.predict(unknown[:,[1,2,3,4,5,7,8,9,10]]).round(0)
    print(predicted)
    # 用得到的预测结果填补原缺失数据
    print(len(predicted))
    df.loc[(df.MonthlyIncome.isnull()), 'MonthlyIncome'] = predicted
    return df
data=set_missing(data)#用随机森林填补比较多的缺失值
data=data.dropna()#删除比较少的缺失值
data=data.drop_duplicates()#删除重复项
data.to_csv(r'C:\Users\86180\Desktop\GiveMeSomeCredit (试验)\MissingData.csv',index=False)
data.shape

3.2  剔除异常值和探索性数据分析

异常值，即在数据集中存在不合理的值，又称离群点，比如年龄小于0，或者不符合正态分布的数据。

异常值的处理方法常用有四种：

1.删除含有异常值的记录

2.将异常值视为缺失值，交给缺失值处理方法来处理

3.用平均值来修正

4.不处理

这里视情况因为异常样本少，选择了删除异常样本。

INT：

# 年龄等于0的异常值进行剔除
data = data[data['age']> 0]

 下面展现总体的直方图，看看全部变量数据的分布情况。

# 来个快速版的直方图

data.hist(bins=50, figsize=(20,15))
plt.show()

OUT:

可以看出DebtRatio、NumberOfTime30-59DaysPastDueNotWorse、NumberOfTime60-89DaysPastDueNotWorse、NumberOfTimes90DaysLate、NumberRealEstateLoansOrLines、RevolvingUtilizationOfUnsecuredLines的数据分布情况比较异常，应该有一些极端的数值影响了分布图像的呈现。下面分别用箱型图查看一下数值的分布，删去极端值。

先查看DebtRatio的箱型图

INT：

datatemp2=data["DebtRatio"]
datatemp2.plot(kind='box',title='DebtRatio Distribution',sym='r+');

OUT:

INT：

print(data[data['DebtRatio'] > 8000].count()) # 看了看需要提出多少异常值

OUT： 

可以看出DebtRatio的异常值较少，不影响整体数据，于是选择删去

INT：

#只有几百个样本，对于15万数据来说不影响总体数据结构，所以剔除
data = data[data['DebtRatio'] < 8000]

查看DebtRatio的箱型图

INT：

datatemp3=data["MonthlyIncome"]
datatemp3.plot(kind='box',title='MonthlyIncome Distribution',sym='r+');

 OUT： 

 

INT： 

print(data[data['MonthlyIncome'] > 50000].count())

OUT: 

 

MonthlyIncome的异常值也较少，删去。

INT： 

#剔除异常值
data = data[data['MonthlyIncome'] < 50000]

 查看NumberOfDependents的箱型图

INT： 

datatemp4=data["NumberOfDependents"]
datatemp4.plot(kind='box',title='NumberOfDependents Distribution',sym='r+');

 OUT:

INT： 

print(data[data['NumberOfDependents'] > 10].count())

 

NumberOfDependents的异常值也较少，数值差别大，也可以删去。

 

 查看NumberOfTime30-59DaysPastDueNotWorse的箱型图

INT： 

datatemp5=data["NumberOfTime30-59DaysPastDueNotWorse"]
datatemp5.plot(kind='box',title='NumberOfTime30-59DaysPastDueNotWorse Distribution',sym='r+');

 OUT:

INT： 

print(data[data['NumberOfTime30-59DaysPastDueNotWorse'] > 20].count())

 OUT:

 

NumberOfTime30-59DaysPastDueNotWorse的异常值也较少，数值差别大，也可以删去。

INT： 

#剔除异常值
data = data[data['NumberOfTime30-59DaysPastDueNotWorse'] < 20]

  查看NumberOfTime60-89DaysPastDueNotWorse的箱型图

INT： 

datatemp6=data["NumberOfTime60-89DaysPastDueNotWorse"]
datatemp6.plot(kind='box',title='NumberOfTime60-89DaysPastDueNotWorse Distribution',sym='r+');

OUT: 

 

  查看NumberOfTimes90DaysLate的箱型图

INT： 

datatemp7=data["NumberOfTimes90DaysLate"]
datatemp7.plot(kind='box',title='NumberOfTimes90DaysLate Distribution',sym='r+');

OUT: 

 

由NumberOfTime60-89DaysPastDueNotWorse、NumberOfTimes90DaysLate的箱型图可以看出，分布很正常，可能是删去NumberOfTime30-59DaysPastDueNotWorse的异常值时也一并删除了

查看NumberRealEstateLoansOrLines的箱型图

INT： 

datatemp8=data["NumberRealEstateLoansOrLines"]
datatemp8.plot(kind='box',title='NumberRealEstateLoansOrLines Distribution',sym='r+');

OUT: 

 

INT： 

print(data[data['NumberRealEstateLoansOrLines'] > 30].count())

OUT: 

 

NumberRealEstateLoansOrLines的异常值也较少，删去。

INT： 

#剔除异常值
data = data[data['NumberRealEstateLoansOrLines'] < 30]

  查看RevolvingUtilizationOfUnsecuredLines的箱型图

INT： 

datatemp9=data["RevolvingUtilizationOfUnsecuredLines"]
datatemp9.plot(kind='box',title='RevolvingUtilizationOfUnsecuredLines Distribution',sym='r+');

OUT: 

 

INT： 

print(data[data['RevolvingUtilizationOfUnsecuredLines'] > 6].count())

OUT: 

 

RevolvingUtilizationOfUnsecuredLines的异常值也较少，删去。

INT： 

#剔除异常值
data = data[data['RevolvingUtilizationOfUnsecuredLines'] < 6]

再看看总体以直方图呈现的数据分布情况

INT： 

data=data.drop(["Unnamed: 0"],axis=1)
data.hist(bins=50, figsize=(20,15))
plt.show()

OUT: 

客户收入和年龄分布如下图所示，可以看到两个变量都大致呈正态分布，符合统计分析的假设。

INT：  

plt.figure(figsize=(15,5))
plt.hist(data.MonthlyIncome,bins=70,color="green",alpha=0.8,rwidth=0.9)
plt.title("MonthlyIncome distribution")
plt.ylabel('# of MonthlyIncome', fontsize=12)
plt.xlabel('MonthlyIncome', fontsize=12)

plt.show()

 OUT: 

 

INT：  

plt.figure(figsize=(15,5))
plt.hist(data.age,bins=50,color="green",alpha=0.8,rwidth=0.9)
plt.title("age distribution")
plt.ylabel('# of age', fontsize=12)
plt.xlabel('age', fontsize=12)

plt.show()

OUT:  

由此看出，删去异常样本后，数据整体改善，能够进行下一步的分析。

 

五、变量选择

 特征变量选择(排序)对于数据分析、机器学习从业者来说非常重要。

 好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。

 至于Python的变量选择代码实现可以参考结合Scikit-learn介绍几种常用的特征选择方法。

 在本文中，我们采用信用评分模型的变量选择方法，通过WOE分析方法，即是通过比较指标分箱和对应分箱的违约概率来确定指标是否符合经济意义。

 首先我们对变量进行离散化（分箱）处理。

 

 5.1 分箱处理

 变量分箱（binning）是对连续变量离散化（discretization）的一种称呼。

 信用评分卡开发中一般有常用的等距分段、等深分段、最优分段。

 其中等距分段（Equval length intervals）是指分段的区间是一致的，比如年龄以十年作为一个分段；

 等深分段（Equal frequency intervals）是先确定分段数量，然后令每个分段中数据数量大致相等；

 最优分段（Optimal Binning）又叫监督离散化（supervised discretizaion），使用递归划分（Recursive Partitioning）将连续变量分为分段，背后是一种基于条件推断查找较佳分组的算法。

 

 我们首先选择对连续变量进行最优分段，在连续变量的分布不满足最优分段的要求时，再考虑对连续变量进行等距分段。最优分箱的代码如下：

INT： 

from sklearn.model_selection import train_test_split
Y = data['SeriousDlqin2yrs']
X = data.iloc[:, 1:]
#测试集占比30%
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.3, random_state=0)
train = pd.concat([Y_train, X_train], axis=1)
test = pd.concat([Y_test, X_test], axis=1)

train.to_csv(r'C:\Users\86180\Desktop\GiveMeSomeCredit (试验)\TrainData.csv',index=False)
test.to_csv(r'C:\Users\86180\Desktop\GiveMeSomeCredit (试验)\TestData.csv',index=False)

 INT：

# 定义自动分箱函数

from scipy import stats
def mono_bin(Y, X, n = 20):
    r = 0
    good=Y.sum()
    bad=Y.count()-good
    while np.abs(r) < 1:
        d1 = pd.DataFrame({"X": X, "Y": Y, "Bucket": pd.qcut(X, n,duplicates="drop")}) 
        # 后面报错You can drop duplicate edges by setting the 'duplicates' kwarg，所以回到这里补充duplicates参数
        # pandas中使用qcut()，边界易出现重复值，如果为了删除重复值设置 duplicates=‘drop’，则易出现于分片个数少于指定个数的问题
        # 经尝试，设置duplicates参数为“drop”可行，而不能设置为“raise”。
        d2 = d1.groupby('Bucket', as_index = True)
        r, p = stats.spearmanr(d2.X.mean(), d2.mean().Y)
        n = n - 1
    d3 = pd.DataFrame(d2.X.min(), columns = ['min'])
    d3['min'] = d2.min().X
    d3['max'] = d2.max().X
    d3['sum'] = d2.sum().Y
    d3['total'] = d2.count().Y
    d3['rate'] = d2.mean().Y
    d3['woe']=np.log((d3['rate']/(1-d3['rate']))/(good/bad))
    d4 = (d3.sort_values(by='min')).reset_index(drop=True)
    print("=" * 60)
    woe=list(d4['woe'].round(3))
    print(d4)
    return d4

 将每个变量都尝试分箱

INT： 

mono_bin(data.SeriousDlqin2yrs,data['DebtRatio'])

OUT: 

 minmaxsumtotalratewoe
00.0000000.23633945317481580.9410070.131195
10.2363530.54338145156481570.9376830.072847
20.5434227977.00000044361481570.921174-0.179918

INT： 

mono_bin(data.SeriousDlqin2yrs,data.RevolvingUtilizationOfUnsecuredLines)

OUT: 

 minmaxsumtotalratewoe
00.0000000.03102235444361180.9813391.324148
10.0310220.15726835379361180.9795391.230245
20.1572710.55550634310361180.9499420.304885
30.5555305.37774829701361180.822332-1.106101

INT： 

mono_bin(data.SeriousDlqin2yrs,data.age)

 OUT: 

 minmaxsumtotalratewoe
0213110688120330.888224-0.565603
132369706108420.895222-0.493100
2374010031110100.911081-0.311427
3414411425124940.914439-0.269250
445479799106960.916137-0.247351
5485010270111310.922648-0.159443
651539794105770.925971-0.111938
754569586102310.9369560.060478
8576012278129080.9511930.331514
961639967104220.9563420.448407
1064679840101700.9675520.756788
11687411353116450.9749251.022153
127510710097103130.9790561.206384

INT： 

mono_bin(data.SeriousDlqin2yrs,data.MonthlyIncome)

 OUT: 

 minmaxsumtotalratewoe
00.03387.044406481580.922090-0.167245
13388.06800.044623481840.926096-0.110123
26801.049750.045805481300.9516930.342342

INT： 

mono_bin(data.SeriousDlqin2yrs,data['NumberOfTime30-59DaysPastDueNotWorse'])

 OUT: 

 minmaxsumtotalratewoe
0011296881369500.9469730.244146
122330244920.735085-1.617756
2313184430300.608581-2.196980

INT： 

mono_bin(data.SeriousDlqin2yrs,data['NumberOfTime60-89DaysPastDueNotWorse'])

 OUT: 

 minmaxsumtotalratewoe
00111348341444720.9332886.661338e-16

INT： 

mono_bin(data.SeriousDlqin2yrs,data['NumberOfTimes90DaysLate'])

 OUT: 

 minmaxsumtotalratewoe
00171348341444720.9332886.661338e-16

INT： 

mono_bin(data.SeriousDlqin2yrs,data.NumberRealEstateLoansOrLines)

 OUT: 

 minmaxsumtotalratewoe
00261348341444720.9332886.661338e-16

INT： 

mono_bin(data.SeriousDlqin2yrs,data.NumberOfDependents)

 OUT: 

 minmaxsumtotalratewoe
00.01.01050131118690.9387140.090629
12.02.017816193760.919488-0.202920
23.03.0859094180.912083-0.298990
34.09.0341538090.896561-0.478749

INT： 

mono_bin(data.SeriousDlqin2yrs,data.NumberOfOpenCreditLinesAndLoans)

 OUT: 

 minmaxsumtotalratewoe
00571348341444720.9332886.661338e-16

 

从上面每个变量的分箱情况可以看出，DebtRatio、RevolvingUtilizationOfUnsecuredLines、age、MonthlyIncome是可以得出有效的分箱的，NumberOfTime30-59DaysPastDueNotWorse、NumberOfDependents的分箱非常不均匀，也不是符合最优分箱的，而NumberOfOpenCreditLinesAndLoans、NumberOfTimes90DaysLate、NumberOfTime60-89DaysPastDueNotWorse、NumberRealEstateLoansOrLines最终结果只分得一个组，那么针对不能最优分箱的变量，下面将进行自定义分箱。

INT：

# 连续变量离散化
pinf = float('inf')#正无穷大
ninf = float('-inf')#负无穷大

cutx6 = [ninf, 1, 2, 3, 5, pinf]
cutx7 = [ninf, 0, 1, 3, 5, pinf]
cutx8 = [ninf, 0,1,2, 3, pinf]
cutx9 = [ninf, 0, 1, 3, pinf]


5.2 WOE

WoE分析， 是对指标分箱、计算各个档位的WoE值并观察WoE值随指标变化的趋势。其中WoE的数学定义是:
woe=ln(goodattribute/badattribute)
在进行分析时，我们需要对各指标从小到大排列，并计算出相应分档的WoE值。其中正向指标越大，WoE值越小；反向指标越大，WoE值越大。正向指标的WoE值负斜率越大，反响指标的正斜率越大，则说明指标区分能力好。WoE值趋近于直线，则意味指标判断能力较弱。若正向指标和WoE正相关趋势、反向指标同WoE出现负相关趋势，则说明此指标不符合经济意义，则应当予以去除。
woe函数实现在上面的mono_bin()函数里面已经包含，这里不再重复。


5.3 相关性分析和IV筛选

接下来，我们会用经过清洗后的数据看一下变量间的相关性。注意，这里的相关性分析只是初步的检查，进一步检查模型的IV（证据权重）作为变量筛选的依据。

INT：

# 数据集各变量的相关性。
# 相关性图我们通过Python里面的seaborn包，调用heatmap()绘图函数进行绘制，实现代码如下：

corr = data.corr()#计算各变量的相关性系数
xticks = ['x0','x1','x2','x3','x4','x5','x6','x7','x8','x9','x10']#x轴标签
yticks = list(corr.index)#y轴标签
fig = plt.figure()
ax1 = fig.add_subplot(1, 1, 1)
sns.heatmap(corr, annot=True, cmap='rainbow', ax=ax1, annot_kws={'size': 9, 'weight': 'bold', 'color': 'blue'})#绘制相关性系数热力图
ax1.set_xticklabels(xticks, rotation=0, fontsize=10)
ax1.set_yticklabels(yticks, rotation=0, fontsize=10)
plt.show()

OUT: 

 从热力图可以看出，各变量之间的相关性很小

接下来，我进一步计算每个变量的Infomation Value（IV）。IV指标是一般用来确定自变量的预测能力。 其公式为：
IV=sum((goodattribute-badattribute)*ln(goodattribute/badattribute))
通过IV值判断变量预测能力的标准是：
 < 0.02: unpredictive
0.02 to 0.1: weak
0.1 to 0.3: medium
0.3 to 0.5: strong
> 0.5: suspicious

IV的实现放在mono_bin()函数里面，代码实现如下

INT：

# IV的实现放在mono_bin()函数里面，代码实现如下：

# 定义自动分箱函数
def mono_bin(Y, X, n = 20):
    r = 0
    good=Y.sum()
    bad=Y.count()-good
    while np.abs(r) < 1:
        d1 = pd.DataFrame({"X": X, "Y": Y, "Bucket": pd.qcut(X, n,duplicates="drop")})
        d2 = d1.groupby('Bucket', as_index = True)
        r, p = stats.spearmanr(d2.mean().X, d2.mean().Y)
        n = n - 1
    d3 = pd.DataFrame(d2.X.min(), columns = ['min'])
    d3['min']=d2.min().X
    d3['max'] = d2.max().X
    d3['sum'] = d2.sum().Y
    d3['total'] = d2.count().Y
    d3['rate'] = d2.mean().Y
    d3['woe']=np.log((d3['rate']/(1-d3['rate']))/(good/bad))
    d3['goodattribute']=d3['sum']/good
    d3['badattribute']=(d3['total']-d3['sum'])/bad
    iv=((d3['goodattribute']-d3['badattribute'])*d3['woe']).sum()
    d4 = (d3.sort_values(by = 'min')).reset_index(drop=True)
    print("=" * 60)
    print(d4)
    cut=[]
    cut.append(float('-inf'))
    for i in range(1,n+1):
        qua=X.quantile(i/(n+1))
        cut.append(round(qua,4))
    cut.append(float('inf'))
    woe=list(d4['woe'].round(3))
    return d4,iv,cut,woe

#自定义分箱函数
# ——该定义函数参考另一篇帖子：https://blog.csdn.net/sunyaowu315/article/details/82981216 
def self_bin(Y,X,cat):
    good=Y.sum()
    bad=Y.count()-good
    d1=pd.DataFrame({'X':X,'Y':Y,'Bucket':pd.cut(X,cat)})
    d2=d1.groupby('Bucket', as_index = True)
    d3 = pd.DataFrame(d2.X.min(), columns=['min'])
    d3['min'] = d2.min().X
    d3['max'] = d2.max().X
    d3['sum'] = d2.sum().Y
    d3['total'] = d2.count().Y
    d3['rate'] = d2.mean().Y
    d3['woe'] = np.log((d3['rate'] / (1 - d3['rate'])) / (good / bad))
    d3['goodattribute'] = d3['sum'] / good
    d3['badattribute'] = (d3['total'] - d3['sum']) / bad
    iv = ((d3['goodattribute'] - d3['badattribute']) * d3['woe']).sum()
    d4 = (d3.sort_values(by='min'))
    print("=" * 60)
    print(d4)
    woe = list(d4['woe'].round(3))
    return d4, iv,woe

 INT：

dfx1, ivx1,cutx1,woex1 = mono_bin(data.SeriousDlqin2yrs, data.RevolvingUtilizationOfUnsecuredLines,n=10)
dfx2, ivx2,cutx2,woex2 = mono_bin(data.SeriousDlqin2yrs, data.age, n=10)
dfx4, ivx4,cutx4,woex4 =mono_bin(data.SeriousDlqin2yrs, data.DebtRatio, n=20)
dfx5, ivx5,cutx5,woex5 =mono_bin(data.SeriousDlqin2yrs, data.MonthlyIncome, n=10)

# 连续变量离散化
cutx3 = [ninf, 0, 1, 3, 5, pinf]
cutx6 = [ninf, 1, 2, 3, 5, pinf]
cutx7 = [ninf, 0, 1, 3, 5, pinf]
cutx8 = [ninf, 0,1,2, 3, pinf]
cutx9 = [ninf, 0, 1, 3, pinf]
cutx10 = [ninf, 0, 1, 2, 3, 5, pinf]
dfx3, ivx3,woex3 = self_bin(data.SeriousDlqin2yrs, data['NumberOfTime30-59DaysPastDueNotWorse'], cutx3)
dfx6, ivx6,woex6= self_bin(data.SeriousDlqin2yrs, data['NumberOfOpenCreditLinesAndLoans'], cutx6)
dfx7, ivx7,woex7 = self_bin(data.SeriousDlqin2yrs, data['NumberOfTimes90DaysLate'], cutx7)
dfx8, ivx8,woex8 = self_bin(data.SeriousDlqin2yrs, data['NumberRealEstateLoansOrLines'], cutx8)
dfx9, ivx9,woex9 = self_bin(data.SeriousDlqin2yrs, data['NumberOfTime60-89DaysPastDueNotWorse'], cutx9)
dfx10, ivx10,woex10 = self_bin(data.SeriousDlqin2yrs, data['NumberOfDependents'], cutx10)

OUT:

 INT：

# 生成的IV图代码：

ivlist=[ivx1,ivx2,ivx3,ivx4,ivx5,ivx6,ivx7,ivx8,ivx9,ivx10]#各变量IV
index=['x1','x2','x3','x4','x5','x6','x7','x8','x9','x10']#x轴的标签
fig1 = plt.figure(1)
ax1 = fig1.add_subplot(1, 1, 1)
x = np.arange(len(index))+1
ax1.bar(x, ivlist, width=0.4)#生成柱状图
ax1.set_xticks(x)
ax1.set_xticklabels(index, rotation=0, fontsize=12)
ax1.set_ylabel('IV(Information Value)', fontsize=14)
#在柱状图上添加数字标签
for a, b in zip(x, ivlist):
    plt.text(a, b + 0.01, '%.4f' % b, ha='center', va='bottom', fontsize=10)
plt.show()

OUT: 

输出的各变量IV值如上图。
可以看出，DebtRatio(x4)、MonthlyIncome(x5)、NumberOfOpenCreditLinesAndLoans(x6)、NumberRealEstateLoansOrLines(x8)和NumberOfDependents(x10)变量的IV值明显较低，所以予以删除。

 

六、模型分析

证据权重（Weight of Evidence,WOE）转换可以将Logistic回归模型转变为标准评分卡格式。引入WOE转换的目的并不是为了提高模型质量，只是一些变量不应该被纳入模型，这或者是因为它们不能增加模型值，或者是因为与其模型相关系数有关的误差较大，其实建立标准信用评分卡也可以不采用WOE转换。这种情况下，Logistic回归模型需要处理更大数量的自变量。尽管这样会增加建模程序的复杂性，但最终得到的评分卡都是一样的。
在建立模型之前，我们需要将筛选后的变量转换为WoE值，便于信用评分。

 

6.1 WOE转换

我们已经能获取了每个变量的分箱数据和woe数据，只需要根据各变量数据进行替换，实现代码如下：

INT：

from sklearn.metrics import roc_curve
from sklearn.metrics import auc
from sklearn import metrics
import statsmodels.api as sm
import math

def trans_woe(var,var_name,x_woe,x_cut):
    woe_name = var_name + '_woe'
    for i in range(len(x_woe)):
        if i == 0:
            var.loc[(var[var_name]<=x_cut[i+1]),woe_name] = x_woe[i]
        elif (i>0) and (i<= len(x_woe)-2):
            var.loc[((var[var_name]>x_cut[i])&(var[var_name]<=x_cut[i+1])),woe_name] = 
x_woe[i]
        else:
            var.loc[(var[var_name]>x_cut[len(x_woe)-1]),woe_name] = x_woe[len(x_woe)-1]
    return var
 
x1_name = 'RevolvingUtilizationOfUnsecuredLines'
x2_name = 'age'
x3_name = 'NumberOfTime30-59DaysPastDueNotWorse'
x7_name = 'NumberOfTimes90DaysLate'
x9_name = 'NumberOfTime60-89DaysPastDueNotWorse'


X_train = trans_woe(X_train,x1_name,woex1,cutx1)
X_train = trans_woe(X_train,x2_name,woex2,cutx2)
X_train = trans_woe(X_train,x3_name,woex3,cutx3)
X_train = trans_woe(X_train,x7_name,woex7,cutx7)
X_train = trans_woe(X_train,x9_name,woex9,cutx9)

 

6.2 Logisic模型建立和模型检验

我们直接调用statsmodels包来实现逻辑回归：

INT：

X_train.to_csv('WoeData.csv', index=False)
#6.2 Logistic模型建立
#导入数据
data = pd.read_csv('WoeData.csv')
#应变量
Y=train['SeriousDlqin2yrs']
# dict_Y = {'month':Y.index,'numbers':Y.values}
# df_month = pd.DataFrame(dict_Y)
#自变量，剔除对因变量影响不明显的变量
X=X_train.drop(['RevolvingUtilizationOfUnsecuredLines','age','NumberOfTime30-59DaysPastDueNotWorse','NumberOfTimes90DaysLate','NumberOfTime60-89DaysPastDueNotWorse','DebtRatio','MonthlyIncome', 'NumberOfOpenCreditLinesAndLoans','NumberRealEstateLoansOrLines','NumberOfDependents'],axis=1)
X1=sm.add_constant(X)
Y1=Y.to_frame(name='SeriousDlqin2yrs')
logit=sm.Logit(Y,X1)
result=logit.fit()
print(result.summary())
X1.columns

  

如上图所示逻辑回归各变量都已通过显著性检验，满足要求

到这里，我们的建模部分基本结束了。我们需要验证一下模型的预测能力如何。我们使用在建模开始阶段预留的test数据进行检验。通过ROC曲线和AUC来评估模型的拟合能力。
在Python中，可以利用sklearn.metrics，它能方便比较两个分类器，自动计算ROC和AUC。

INT：

#6.3 模型检验

X_test = trans_woe(X_test,x1_name,woex1,cutx1)
X_test = trans_woe(X_test,x2_name,woex2,cutx2)
X_test = trans_woe(X_test,x3_name,woex3,cutx3)
X_test = trans_woe(X_test,x7_name,woex7,cutx7)
X_test = trans_woe(X_test,x9_name,woex9,cutx9)

#应变量
Y_test = test['SeriousDlqin2yrs']
#自变量，剔除对因变量影响不明显的变量，与模型变量对应
X_test = X_test.iloc[:,-5:]
#X_test =X_test.drop(['NumberOfOpenCreditLinesAndLoans','age','NumberOfTime30-59DaysPastDueNotWorse','NumberOfTimes90DaysLate','NumberOfTime60-89DaysPastDueNotWorse','DebtRatio','MonthlyIncome', 'NumberOfOpenCreditLinesAndLoans','NumberRealEstateLoansOrLines','NumberOfDependents'], axis=1)
X3 = sm.add_constant(X_test)
resu = result.predict(X3)#进行预测
#result.score(X3,Y_test) 
fpr, tpr, threshold = metrics.roc_curve(Y_test, resu)
rocauc = metrics.auc(fpr, tpr)#计算AUC
plt.plot(fpr, tpr, 'b', label='AUC = %0.2f' % rocauc)#生成ROC曲线
plt.legend(loc='lower right')
plt.plot([0, 1], [0, 1], 'r--')
plt.xlim([0, 1])
plt.ylim([0, 1])
plt.ylabel('真正率')
plt.xlabel('假正率')
plt.show()

OUT: 

由上图得知，AUC值为0.85，表明该模型的预测效果不错，正确率较高。

七、信用评分

我们已经基本完成了建模相关的工作，并用ROC曲线验证了模型的预测能力。接下来的步骤，就是将Logistic模型转换为标准评分卡的形式。

 

评分标准：

a=log（p_good/P_bad）

Score = offset + factor * log(odds)

在建立标准评分卡之前，我们需要选取几个评分卡参数：基础分值、 PDO（比率翻倍的分值）和好坏比。 这里， 我们取600分为基础分值，PDO为20 （每高20分好坏比翻一倍），好坏比取20。

INT：

# 我们取600分为基础分值，PDO为20（每高20分好坏比翻一倍），好坏比取20。
p = 20 / math.log(2)
q = 600 - 20 * math.log(20) / math.log(2)
#7.2 部分评分
#计算分数函数 
def get_score(coe,woe,factor):
    scores=[]
    for w in woe:
        score=round(coe*w*factor,0)
        scores.append(score)
    print(scores)    
    return scores
   


coe = [2.6138,0.6228,0.4894,0.5596,0.5747 ,0.4248]#在上面那个logistic的结果中来
baseScore = round(q + p * coe[0], 0)
print(baseScore)

 INT：

# 各项部分分数
x1 = get_score(coe[1], woex1, p)
x2 = get_score(coe[2], woex2, p)
x3 = get_score(coe[3], woex3, p)
x7 = get_score(coe[4], woex7, p)
x9 = get_score(coe[5], woex9, p)

可以得出这五个变量的评分卡如下图所示：

八、自动评分系统

根据变量来计算分数，实现如下：

 INT：

def compute_score(series,cut,score):
    list = []
    i = 0
    while i < len(series):
        value = series[i]
        j = len(cut) - 2
        m = len(cut) - 2
        while j >= 0:
            if value >= cut[j]:
                j = -1
            else:
                j -= 1
                m -= 1
        list.append(score[m])
        i += 1
    return list

 INT：

test1 = pd.read_csv(r'C:\Users\86180\Desktop\GiveMeSomeCredit (试验)\TestData.csv')
test1['BaseScore']=np.zeros(len(test1))+baseScore
test1['x1'] = compute_score(test1['RevolvingUtilizationOfUnsecuredLines'], cutx1, x1)
test1['x2'] = compute_score(test1['age'], cutx2, x2)
test1['x3'] = compute_score(test1['NumberOfTime30-59DaysPastDueNotWorse'], cutx3, x3)
test1['x7'] = compute_score(test1['NumberOfTimes90DaysLate'], cutx7, x7)
test1['x9'] = compute_score(test1['NumberOfTime60-89DaysPastDueNotWorse'], cutx9, x9)
test1['Score'] = test1['x1'] + test1['x2'] + test1['x3'] + test1['x7'] +test1['x9']  + baseScore
test1.to_csv(r'C:\Users\86180\Desktop\GiveMeSomeCredit (试验)\ScoreData.csv', index=False)

得到的部分结果如下：

序号SeriousDlqin2yrsBaseScorex1x2x3x7x9Score
1159567-21-33-24530
2159522-5-11-33-24544
3159524-5-11-33-24546
4159524-8-11-33-24543
515952212-21-33-24551
61595227-11-33-24556
715952415-11-33-24566
815952415-11-33-24566
91595-20-4-21-33-24493
101595243-11-33-24554
11159522-4-11-33-24545
120595-20-8-11-33-24499
1315952415-11-33-24566
141595247-11-33-24558
15159522-5-11-33-24544
161595247-11-33-24558
1715952212-11-33-24561
1815956-8-11-33-24525
19159524-8-11-33-24543
201595-207-21-33-24504

 

九、总结

本次在kaggle的Give Me Some Credit数据集中，学习到了很多数据分析常用的知识和经验。

通过数据预处理、缺失异常值的清理和填补，保证数据得以顺利下一步的分析。

在预测之前进行数数据分箱、变量的选择，然后运用logistic回归进行二分法预测。

最后构建预测客户是否违约的模型和评分表，建立了一个简单的信用评分系统，

 

gaga12323
关注
  • 0
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GiveMeSomeCredit——信用评分卡模型
zpxcod007的博客
04-28 1万+
如今在银行、消费金融公司等各种贷款业务机构，普遍使用信用评分，对客户实行打分制，以期对客户有一个优质与否的评判。评分卡分为三类分别为：A卡（Application score card）申请评分卡B卡（Behavior score card）行为评分卡C卡（Collection score card）催收评分卡评分机制的区别在于：1.使用的时间不同。分别侧重贷前、贷中、贷后；2.数据要求不同。A卡...
基于随机森林算法的贷款违约预测模型研究（Give me some credit）
热门推荐
daisy的博客
06-19 2万+
本文实验代码github：https://github.com/dengsiying/give-me-some-credit/tree/master 参考链接：从决策树到随机森林                  http://www.cnblogs.com/maybe2030/p/4585705.html  基于随机森林算法的贷款违约预测模型研究  摘要：如何在发放贷款前有效的评价和识别...
Give Me Some Credit 字段中文含义
data1023的博客
09-14 399
give me some credit
金融风控信用评分卡建模（Kaggle give me credit数据集）
最新发布
weixin_43488159的博客
04-23 1843
风控信用评分卡
Give Me Some Credit
07-30
这是本人从kaggle官网下载下来的Give Me Some Credit竞赛的相关数据，自己目前也在学习这一块内容，希望大家一起学习。
Kaggle|Give Me Some Credit信用卡评分建模分析(R语言)
Iceforest的博客
04-26 1万+
1.目的    本文是基于Kaggle|Give Me Some Credit项目(数据地址:https://www.kaggle.com/c/GiveMeSomeCredit),通过对消费者的人口特征、信用历史记录、交易记录等大量数据进行系统的分析、挖掘数据蕴含的行为模式、信用特征，发展出预测行的模式，结合信用卡评分的构建原理，采用R语言完成数据的清洗，主要包括缺失数据的填充、异常的删除和数据的...
kaggle “give me some credit”数据集
02-22
"Give Me Some Credit"是Kaggle上一个著名的数据科学竞赛，它的目标是预测个人的信用评分，这对于银行和其他金融机构的信贷决策具有重要意义。在这个数据集中，参赛者需要利用提供的个人信息来构建预测模型，以判断...
Kaggle give me some credit数据集
05-21
Give Me Some Credit是Kaggle上关于信用评分的项目，通过改进信用评分技术，预测未来两年借款人会遇到财务困境的可能性。银行在市场经济中发挥关键作用。 他们决定谁可以获得融资，以及以何种条件进行投资决策。 ...
来自Kaggle的Give Me Some Credit数据
11-12
数据来自Kaggle的Give Me Some Credit，有15万条的样本数据，下图可以看到这份数据的大致情况。 数据属于个人消费类贷款，只考虑信用评分最终实施时能够使用到的数据应从如下一些方面获取数据： – 基本属性：包括了...
give me some credit.7z
06-23
标题 "give me some credit.7z" 暗示我们正在处理一个压缩文件，其中包含与信用评分或贷款审批相关的数据集。这个数据集可能来源于Kaggle，这是一个知名的在线平台，供数据科学家和机器学习爱好者共享和竞赛数据。7z...
信用评分卡-Give Me Some Credit
qq_24520431的博客
10-17 1380
信用评分卡 1.业务理解 1.1 建模目的 基于客户数据，通过预测客户未来两年是否会陷入财务危机的概率来改善银行信用评分的质量。 1.2 业务背景 a、信用评分是指根据银行客户的各种历史信用资料，利用一定的信用评分模型，得到不同等级的信用分数，根据客户的信用分数，授信者可以通过分析客户按时还款的可能性，据此决定是否给予授信以及授信的额度和利率。虽然授信者通过人工分析客户的历史信用资料，同样可以得到...
give me some Credit.zip
12-05
kaggle give me some credit 附件资源，只需要1积分，全站最便宜，价格低，我看行
Give Me Some Credit kaggle 源数据
04-16
Give Me Some Credit kaggle 源数据，供下载研究学习使用，请勿商业用途
creditcared.csv
09-06
交易数据异常检测数据源文件。资源对头
信用评分卡精度提升分析
10-01
压缩包包含数据和代码，数据来自kaggle竞赛平台上的give me some credit上的竞赛项目。项目主要目标是提升auc和ks值，使用多种模型对比，最终算出最好的模型
ML之Scorecard：基于GiveMeSomeCredit数据集构建金融风控领域的信用卡评分卡模型——加载数据集→数据预处理(缺失值+逐个特征分布可视化+数据分箱+特征筛选【IV＞0.02】+计算
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-13 3181
​ ML之Scorecard：基于GiveMeSomeCredit数据集构建金融风控领域的信用卡评分卡模型——加载数据集→数据预处理(缺失值+逐个特征分布可视化+数据分箱+特征筛选【IV>0.02】+计算WOE)→数据集切分→构建LoR模型→模型评估(AUC)→设计评分卡规则表+结合刻度A计算样本评分卡得分+对比得分及其真实标签→设计评审策略 目录 基于GiveMeSomeCredit数据集利用特征工程处理、逻辑回归LoR算法实现构建风控中的金融评分卡模型 1、加载数据集 2、特征工程：数据分析与
基于lightgbm的kaggle比赛实践：Give me some credit
谷雨的博客
10-16 3229
0 背景介绍 Give Me Some Credit https://www.kaggle.com/c/GiveMeSomeCredit/overview，是Kaggle上关于信用评分的项目，通过改进信用评分技术，预测未来两年借款人会遇到财务困境的可能性。并以此为依据来决定是否给予借贷人信用授权。目标是建立帮助银行做出最佳财务借贷决策的模型。今天这 数据类型如下： 其中：SeriousDlqin2yrs代表过去两年内的情况，也是test集要预测的字段。 第一部分：导入需要的包和数据 impor.
Kaggle数据科学竞赛-数据分析流程笔记（以Give Me Some Credit为例）（未完待续~）
in_void的博客
04-08 3292
以Kaggle上的Give Me Some Credit赛题为例，详细阐述数据分析的基本方法与思路。
givemesomecredit数据下载
05-15
Givemesomecredit是一个数据源，提供各种金融、信用风险、市场数据和分析工具。它致力于为互联网金融、消费金融、小微企业信贷、供应链金融等领域提供高质量的数据支持和风险控制服务。 要下载Givemesomecredit的数据，首先需要注册一个账号。注册后，可以登录Givemesomecredit的官网，在“数据下载”页面中选择需要的数据类型和日期。用户可以下载的数据包括金融市场数据、信用评估数据、宏观经济数据、企业基本信息、黑名单信息等等。Givemesomecredit提供无缝数据接口，可供数据分析师、投资者、企业等使用和应用。 需要注意的是，Givemesomecredit的数据非常丰富，但数据质量的准确性和及时性仍需谨慎评估。用户在下载和使用数据时，需要仔细分析数据的来源、处理方式和误差率等信息，以免影响后续业务决策和判断。 总之，对于需要大量高质量数据支持的企业和金融机构，Givemesomecredit的数据下载是一个值得考虑的选择。但用户在选择和使用时要注意慎重处理数据，以保证数据的准确和有效性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值