有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。
特征工程是数据分析中最耗时间和精力的一部分工作，它不像算法和模型那样是确定的步骤，更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法做一个总结。
特征工程包含了 Data PreProcessing（数据预处理）、Feature Extraction（特征提取）、Feature Selection（特征选择）和 Feature construction（特征构造）等子问题。
Jupyter Notebook 代码连接：feature_engineering_demo_p1_EDA
数据集描述
项目描述
本项目使用Kaggle上的 家庭信用违约风险数据集 (Home Credit Default Risk) ，是一个标准的机器学习分类问题。其目标是使用历史贷款的信息，以及客户的社会经济和财务信息，预测客户是否会违约。
数据由Home Credit（捷信）提供，Home Credit致力于向无银行账户的人群提供信贷，是中东欧以及亚洲领先的消费金融提供商之一。在中东欧（CEE），俄罗斯，独联体国家（CIS）和亚洲各地服务于消费者。
Home Credit有三类产品，信用卡，POS（消费贷），现金贷，三类产品的英文分别是：Revolving loan (credit card)，Consumer installment loan (Point of sales loan – POS loan)，Installment cash loan。三类产品逻辑是这样的：
- 首先提供POS，入门级产品，类似于消费贷。只能用于消费，金额有限，风险最小，客户提供的信息也最少。
- 然后是credit card，在本次竞赛中称为revolving loan。循环授信，主要用于消费。
- 最后才是cash loan，用户能得到现金，风险最大。
数据文件
数据集包括了8个不同的数据文件，大致可以分为三大类：
- application_{train|test}：包含每个客户社会经济信息和Home Credit贷款申请信息的主要文件。每行代表一个贷款申请，由SK_ID_CURR唯一标识。训练集30.75万数据，测试集4.87万数据。其中训练集中
TARGET=1表示未偿还贷款。通过这两个文件，就能对这个任务做基本的数据分析和建模，也是本篇的主要内容。
用户在征信机构的历史征信记录可以用来作为风险评估的参考，但是征信数据往往不全，因为这些人本身就很少有银行记录。数据集中bureau.csv和 bureau_balance.csv 对应这部分数据。
- bureau：征信机构提供的客户之前在其他金融机构的贷款申请数据。一个用户（SK_ID_CURR）可以有多笔贷款申请数据（SK_ID_BUREAU）。总计171万数据。
- bureau_balance：征信机构统计的之前每笔贷款（SK_ID_BUREAU）的每月（MONTHS_BALANCE）的还款欠款记录。共有2729万条数据。
数据集中previous_application.csv, POS_CASH_balance.csv，credit_card_balance.csv，installments_payment.csv这部分数据是来自Home Credit产品的历史使用信息。信用卡在欧洲和美国很流行，但在以上这些国家并非如此。所以数据集中信用卡数据偏少。POS只能买东西，现金贷可以得到现金。三类产品都有申请和还款记录。
- previous_application：该表是客户在申请这次贷款之前的申请记录。一个用户（SK_ID_CURR）可以有多笔历史数据（SK_ID_PREV）。共计167万条。
- POS_CASH_balance：以前每月pos流水记录。由SK_ID_PREV和 months_balance唯一标识，共计1000万条数据。
- credit_card_balance：每月信用卡账单表。由MONTHS_BALANCE和SK_ID_PREV唯一标识，合计384万条数据。
- installments_payment：分期付款表。由 SK_ID_PREV, name_instalment_version, name_instalment_number 唯一标识，共计1360万条数据。
字段描述见附录。
探索性数据分析
Exploratory Data Analysis(EDA)
本篇主要通过application文件，做基本的数据分析和建模，也是本篇的主要内容。
数据概览
导入必要的包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
# Set global configuration.
warnings.filterwarnings('ignore')
sns.set_style('whitegrid')
pd.set_option('display.max_columns',None)
pd.set_option('display.max_rows',None)
pd.options.display.max_colwidth = 100
SEED = 42
df = pd.read_csv('../datasets/Home-Credit-Default-Risk/application_train.csv')
# print(df.head())
print('Training data shape: ', df.shape)
Training data shape: (307511, 122)
# `SK_ID_CURR` is the unique id of the row.
id_col = "SK_ID_CURR"
target = "TARGET"
df[id_col].nunique() == df.shape[0]
True
在遇到非常多的数据的时候，我们一般先会按照数据的类型分布下手，看看不同的数据类型各有多少
# Number of each type of column
print(df.dtypes.value_counts())
float64 65
int64 41
object 16
Name: count, dtype: int64
print("\nCategorical features:")
print(df.select_dtypes(["object"]).columns.tolist())
print("\nNumerical features:")
print(df.select_dtypes("number").columns.tolist())
Categorical features:
['NAME_CONTRACT_TYPE', 'CODE_GENDER', 'FLAG_OWN_CAR', 'FLAG_OWN_REALTY', 'NAME_TYPE_SUITE', 'NAME_INCOME_TYPE', 'NAME_EDUCATION_TYPE', 'NAME_FAMILY_STATUS', 'NAME_HOUSING_TYPE', 'OCCUPATION_TYPE', 'WEEKDAY_APPR_PROCESS_START', 'ORGANIZATION_TYPE', 'FONDKAPREMONT_MODE', 'HOUSETYPE_MODE', 'WALLSMATERIAL_MODE', 'EMERGENCYSTATE_MODE']
Numerical features:
['SK_ID_CURR', 'TARGET', 'CNT_CHILDREN', 'AMT_INCOME_TOTAL', 'AMT_CREDIT', 'AMT_ANNUITY', 'AMT_GOODS_PRICE', 'REGION_POPULATION_RELATIVE', 'DAYS_BIRTH', 'DAYS_EMPLOYED', 'DAYS_REGISTRATION', 'DAYS_ID_PUBLISH', 'OWN_CAR_AGE', 'FLAG_MOBIL', 'FLAG_EMP_PHONE', 'FLAG_WORK_PHONE', 'FLAG_CONT_MOBILE', 'FLAG_PHONE', 'FLAG_EMAIL', 'CNT_FAM_MEMBERS', 'REGION_RATING_CLIENT', 'REGION_RATING_CLIENT_W_CITY', 'HOUR_APPR_PROCESS_START', 'REG_REGION_NOT_LIVE_REGION', 'REG_REGION_NOT_WORK_REGION', 'LIVE_REGION_NOT_WORK_REGION', 'REG_CITY_NOT_LIVE_CITY', 'REG_CITY_NOT_WORK_CITY', 'LIVE_CITY_NOT_WORK_CITY', 'EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3', 'APARTMENTS_AVG', 'BASEMENTAREA_AVG', 'YEARS_BEGINEXPLUATATION_AVG', 'YEARS_BUILD_AVG', 'COMMONAREA_AVG', 'ELEVATORS_AVG', 'ENTRANCES_AVG', 'FLOORSMAX_AVG', 'FLOORSMIN_AVG', 'LANDAREA_AVG', 'LIVINGAPARTMENTS_AVG', 'LIVINGAREA_AVG', 'NONLIVINGAPARTMENTS_AVG', 'NONLIVINGAREA_AVG', 'APARTMENTS_MODE', 'BASEMENTAREA_MODE', 'YEARS_BEGINEXPLUATATION_MODE', 'YEARS_BUILD_MODE', 'COMMONAREA_MODE', 'ELEVATORS_MODE', 'ENTRANCES_MODE', 'FLOORSMAX_MODE', 'FLOORSMIN_MODE', 'LANDAREA_MODE', 'LIVINGAPARTMENTS_MODE', 'LIVINGAREA_MODE', 'NONLIVINGAPARTMENTS_MODE', 'NONLIVINGAREA_MODE', 'APARTMENTS_MEDI', 'BASEMENTAREA_MEDI', 'YEARS_BEGINEXPLUATATION_MEDI', 'YEARS_BUILD_MEDI', 'COMMONAREA_MEDI', 'ELEVATORS_MEDI', 'ENTRANCES_MEDI', 'FLOORSMAX_MEDI', 'FLOORSMIN_MEDI', 'LANDAREA_MEDI', 'LIVINGAPARTMENTS_MEDI', 'LIVINGAREA_MEDI', 'NONLIVINGAPARTMENTS_MEDI', 'NONLIVINGAREA_MEDI', 'TOTALAREA_MODE', 'OBS_30_CNT_SOCIAL_CIRCLE', 'DEF_30_CNT_SOCIAL_CIRCLE', 'OBS_60_CNT_SOCIAL_CIRCLE', 'DEF_60_CNT_SOCIAL_CIRCLE', 'DAYS_LAST_PHONE_CHANGE', 'FLAG_DOCUMENT_2', 'FLAG_DOCUMENT_3', 'FLAG_DOCUMENT_4', 'FLAG_DOCUMENT_5', 'FLAG_DOCUMENT_6', 'FLAG_DOCUMENT_7', 'FLAG_DOCUMENT_8', 'FLAG_DOCUMENT_9', 'FLAG_DOCUMENT_10', 'FLAG_DOCUMENT_11', 'FLAG_DOCUMENT_12', 'FLAG_DOCUMENT_13', 'FLAG_DOCUMENT_14', 'FLAG_DOCUMENT_15', 'FLAG_DOCUMENT_16', 'FLAG_DOCUMENT_17', 'FLAG_DOCUMENT_18', 'FLAG_DOCUMENT_19', 'FLAG_DOCUMENT_20', 'FLAG_DOCUMENT_21', 'AMT_REQ_CREDIT_BUREAU_HOUR', 'AMT_REQ_CREDIT_BUREAU_DAY', 'AMT_REQ_CREDIT_BUREAU_WEEK', 'AMT_REQ_CREDIT_BUREAU_MON', 'AMT_REQ_CREDIT_BUREAU_QRT', 'AMT_REQ_CREDIT_BUREAU_YEAR']
接下来看下数据集的统计信息
print(df.describe())
SK_ID_CURR TARGET CNT_CHILDREN AMT_INCOME_TOTAL \
count 307511.000000 307511.000000 307511.000000 3.075110e+05
mean 278180.518577 0.080729 0.417052 1.687979e+05
std 102790.175348 0.272419 0.722121 2.371231e+05
min 100002.000000 0.000000 0.000000 2.565000e+04
25% 189145.500000 0.000000 0.000000 1.125000e+05
50% 278202.000000 0.000000 0.000000 1.471500e+05
75% 367142.500000 0.000000 1.000000 2.025000e+05
max 456255.000000 1.000000 19.000000 1.170000e+08
AMT_CREDIT AMT_ANNUITY AMT_GOODS_PRICE \
count 3.075110e+05 307499.000000 3.072330e+05
mean 5.990260e+05 27108.573909 5.383962e+05
std 4.024908e+05 14493.737315 3.694465e+05
min 4.500000e+04 1615.500000 4.050000e+04
25% 2.700000e+05 16524.000000 2.385000e+05
50% 5.135310e+05 24903.000000 4.500000e+05
75% 8.086500e+05 34596.000000 6.795000e+05
max 4.050000e+06 258025.500000 4.050000e+06
REGION_POPULATION_RELATIVE DAYS_BIRTH DAYS_EMPLOYED \
count 307511.000000 307511.000000 307511.000000
mean 0.020868 -16036.995067 63815.045904
std 0.013831 4363.988632 141275.766519
min 0.000290 -25229.000000 -17912.000000
25% 0.010006 -19682.000000 -2760.000000
50% 0.018850 -15750.000000 -1213.000000
75% 0.028663 -12413.000000 -289.000000
max 0.072508 -7489.000000 365243.000000
DAYS_REGISTRATION DAYS_ID_PUBLISH OWN_CAR_AGE FLAG_MOBIL \
count 307511.000000 307511.000000 104582.000000 307511.000000
mean -4986.120328 -2994.202373 12.061091 0.999997
std 3522.886321 1509.450419 11.944812 0.001803
min -24672.000000 -7197.000000 0.000000 0.000000
25% -7479.500000 -4299.000000 5.000000 1.000000
50% -4504.000000 -3254.000000 9.000000 1.000000
75% -2010.000000 -1720.000000 15.000000 1.000000
max 0.000000 0.000000 91.000000 1.000000
FLAG_EMP_PHONE FLAG_WORK_PHONE FLAG_CONT_MOBILE FLAG_PHONE \
count 307511.000000 307511.000000 307511.000000 307511.000000
mean 0.819889 0.199368 0.998133 0.281066
std 0.384280 0.399526 0.043164 0.449521
min 0.000000 0.000000 0.000000 0.000000
25% 1.000000 0.000000 1.000000 0.000000
50% 1.000000 0.000000 1.000000 0.000000
75% 1.000000 0.000000 1.000000 1.000000
max 1.000000 1.000000 1.000000 1.000000
FLAG_EMAIL CNT_FAM_MEMBERS REGION_RATING_CLIENT \
count 307511.000000 307509.000000 307511.000000
mean 0.056720 2.152665 2.052463
std 0.231307 0.910682 0.509034
min 0.000000 1.000000 1.000000
25% 0.000000 2.000000 2.000000
50% 0.000000 2.000000 2.000000
75% 0.000000 3.000000 2.000000
max 1.000000 20.000000 3.000000
REGION_RATING_CLIENT_W_CITY HOUR_APPR_PROCESS_START \
count 307511.000000 307511.000000
mean 2.031521 12.063419
std 0.502737 3.265832
min 1.000000 0.000000
25% 2.000000 10.000000
50% 2.000000 12.000000
75% 2.000000 14.000000
max 3.000000 23.000000
REG_REGION_NOT_LIVE_REGION REG_REGION_NOT_WORK_REGION \
count 307511.000000 307511.000000
mean 0.015144 0.050769
std 0.122126 0.219526
min 0.000000 0.000000
25% 0.000000 0.000000
50% 0.000000 0.000000
75% 0.000000 0.000000
max 1.000000 1.000000
LIVE_REGION_NOT_WORK_REGION REG_CITY_NOT_LIVE_CITY \
count 307511.000000 307511.000000
mean 0.040659 0.078173
std 0.197499 0.268444
min 0.000000 0.000000
25% 0.000000 0.000000
50% 0.000000 0.000000
75% 0.000000 0.000000
max 1.000000 1.000000
REG_CITY_NOT_WORK_CITY LIVE_CITY_NOT_WORK_CITY EXT_SOURCE_1 \
count 307511.000000 307511.000000 134133.000000
mean 0.230454 0.179555 0.502130
std 0.421124 0.383817 0.211062
min 0.000000 0.000000 0.014568
25% 0.000000 0.000000 0.334007
50% 0.000000 0.000000 0.505998
75% 0.000000 0.000000 0.675053
max 1.000000 1.000000 0.962693
EXT_SOURCE_2 EXT_SOURCE_3 APARTMENTS_AVG BASEMENTAREA_AVG \
count 3.068510e+05 246546.000000 151450.00000 127568.000000
mean 5.143927e-01 0.510853 0.11744 0.088442
std 1.910602e-01 0.194844 0.10824 0.082438
min 8.173617e-08 0.000527 0.00000 0.000000
25% 3.924574e-01 0.370650 0.05770 0.044200
50% 5.659614e-01 0.535276 0.08760 0.076300
75% 6.636171e-01 0.669057 0.14850 0.112200
max 8.549997e-01 0.896010 1.00000 1.000000
YEARS_BEGINEXPLUATATION_AVG YEARS_BUILD_AVG COMMONAREA_AVG \
count 157504.000000 103023.000000 92646.000000
mean 0.977735 0.752471 0.044621
std 0.059223 0.113280 0.076036
min 0.000000 0.000000 0.000000
25% 0.976700 0.687200 0.007800
50% 0.981600 0.755200 0.021100
75% 0.986600 0.823200 0.051500
max 1.000000 1.000000 1.000000
ELEVATORS_AVG ENTRANCES_AVG FLOORSMAX_AVG FLOORSMIN_AVG \
count 143620.000000 152683.000000 154491.000000 98869.000000
mean 0.078942 0.149725 0.226282 0.231894
std 0.134576 0.100049 0.144641 0.161380
min 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.069000 0.166700 0.083300
50% 0.000000 0.137900 0.166700 0.208300
75% 0.120000 0.206900 0.333300 0.375000
max 1.000000 1.000000 1.000000 1.000000
LANDAREA_AVG LIVINGAPARTMENTS_AVG LIVINGAREA_AVG \
count 124921.000000 97312.000000 153161.000000
mean 0.066333 0.100775 0.107399
std 0.081184 0.092576 0.110565
min 0.000000 0.000000 0.000000
25% 0.018700 0.050400 0.045300
50% 0.048100 0.075600 0.074500
75% 0.085600 0.121000 0.129900
max 1.000000 1.000000 1.000000
NONLIVINGAPARTMENTS_AVG NONLIVINGAREA_AVG APARTMENTS_MODE \
count 93997.000000 137829.000000 151450.000000
mean 0.008809 0.028358 0.114231
std 0.047732 0.069523 0.107936
min 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.052500
50% 0.000000 0.003600 0.084000
75% 0.003900 0.027700 0.143900
max 1.000000 1.000000 1.000000
BASEMENTAREA_MODE YEARS_BEGINEXPLUATATION_MODE YEARS_BUILD_MODE \
count 127568.000000 157504.000000 103023.000000
mean 0.087543 0.977065 0.759637
std 0.084307 0.064575 0.110111
min 0.000000 0.000000 0.000000
25% 0.040700 0.976700 0.699400
50% 0.074600 0.981600 0.764800
75% 0.112400 0.986600 0.823600
max 1.000000 1.000000 1.000000
COMMONAREA_MODE ELEVATORS_MODE ENTRANCES_MODE FLOORSMAX_MODE \
count 92646.000000 143620.000000 152683.000000 154491.000000
mean 0.042553 0.074490 0.145193 0.222315
std 0.074445 0.132256 0.100977 0.143709
min 0.000000 0.000000 0.000000 0.000000
25% 0.007200 0.000000 0.069000 0.166700
50% 0.019000 0.000000 0.137900 0.166700
75% 0.049000 0.120800 0.206900 0.333300
max 1.000000 1.000000 1.000000 1.000000
FLOORSMIN_MODE LANDAREA_MODE LIVINGAPARTMENTS_MODE LIVINGAREA_MODE \
count 98869.000000 124921.000000 97312.000000 153161.000000
mean 0.228058 0.064958 0.105645 0.105975
std 0.161160 0.081750 0.097880 0.111845
min 0.000000 0.000000 0.000000 0.000000
25% 0.083300 0.016600 0.054200 0.042700
50% 0.208300 0.045800 0.077100 0.073100
75% 0.375000 0.084100 0.131300 0.125200
max 1.000000 1.000000 1.000000 1.000000
NONLIVINGAPARTMENTS_MODE NONLIVINGAREA_MODE APARTMENTS_MEDI \
count 93997.000000 137829.000000 151450.000000
mean 0.008076 0.027022 0.117850
std 0.046276 0.070254 0.109076
min 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.058300
50% 0.000000 0.001100 0.086400
75% 0.003900 0.023100 0.148900
max 1.000000 1.000000 1.000000
BASEMENTAREA_MEDI YEARS_BEGINEXPLUATATION_MEDI YEARS_BUILD_MEDI \
count 127568.000000 157504.000000 103023.000000
mean 0.087955 0.977752 0.755746
std 0.082179 0.059897 0.112066
min 0.000000 0.000000 0.000000
25% 0.043700 0.976700 0.691400
50% 0.075800 0.981600 0.758500
75% 0.111600 0.986600 0.825600
max 1.000000 1.000000 1.000000
COMMONAREA_MEDI ELEVATORS_MEDI ENTRANCES_MEDI FLOORSMAX_MEDI \
count 92646.000000 143620.000000 152683.000000 154491.000000
mean 0.044595 0.078078 0.149213 0.225897
std 0.076144 0.134467 0.100368 0.145067
min 0.000000 0.000000 0.000000 0.000000
25% 0.007900 0.000000 0.069000 0.166700
50% 0.020800 0.000000 0.137900 0.166700
75% 0.051300 0.120000 0.206900 0.333300
max 1.000000 1.000000 1.000000 1.000000
FLOORSMIN_MEDI LANDAREA_MEDI LIVINGAPARTMENTS_MEDI LIVINGAREA_MEDI \
count 98869.000000 124921.000000 97312.000000 153161.000000
mean 0.231625 0.067169 0.101954 0.108607
std 0.161934 0.082167 0.093642 0.112260
min 0.000000 0.000000 0.000000 0.000000
25% 0.083300 0.018700 0.051300 0.045700
50% 0.208300 0.048700 0.076100 0.074900
75% 0.375000 0.086800 0.123100 0.130300
max 1.000000 1.000000 1.000000 1.000000
NONLIVINGAPARTMENTS_MEDI NONLIVINGAREA_MEDI TOTALAREA_MODE \
count 93997.000000 137829.000000 159080.000000
mean 0.008651 0.028236 0.102547
std 0.047415 0.070166 0.107462
min 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.041200
50% 0.000000 0.003100 0.068800
75% 0.003900 0.026600 0.127600
max 1.000000 1.000000 1.000000
OBS_30_CNT_SOCIAL_CIRCLE DEF_30_CNT_SOCIAL_CIRCLE \
count 306490.000000 306490.000000
mean 1.422245 0.143421
std 2.400989 0.446698
min 0.000000 0.000000
25% 0.000000 0.000000
50% 0.000000 0.000000
75% 2.000000 0.000000
max 348.000000 34.000000
OBS_60_CNT_SOCIAL_CIRCLE DEF_60_CNT_SOCIAL_CIRCLE \
count 306490.000000 306490.000000
mean 1.405292 0.100049
std 2.379803 0.362291
min 0.000000 0.000000
25% 0.000000 0.000000
50% 0.000000 0.000000
75% 2.000000 0.000000
max 344.000000 24.000000
DAYS_LAST_PHONE_CHANGE FLAG_DOCUMENT_2 FLAG_DOCUMENT_3 \
count 307510.000000 307511.000000 307511.000000
mean -962.858788 0.000042 0.710023
std 826.808487 0.006502 0.453752
min -4292.000000 0.000000 0.000000
25% -1570.000000 0.000000 0.000000
50% -757.000000 0.000000 1.000000
75% -274.000000 0.000000 1.000000
max 0.000000 1.000000 1.000000
FLAG_DOCUMENT_4 FLAG_DOCUMENT_5 FLAG_DOCUMENT_6 FLAG_DOCUMENT_7 \
count 307511.000000 307511.000000 307511.000000 307511.000000
mean 0.000081 0.015115 0.088055 0.000192
std 0.009016 0.122010 0.283376 0.013850
min 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000
FLAG_DOCUMENT_8 FLAG_DOCUMENT_9 FLAG_DOCUMENT_10 FLAG_DOCUMENT_11 \
count 307511.000000 307511.000000 307511.000000 307511.000000
mean 0.081376 0.003896 0.000023 0.003912
std 0.273412 0.062295 0.004771 0.062424
min 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000
FLAG_DOCUMENT_12 FLAG_DOCUMENT_13 FLAG_DOCUMENT_14 FLAG_DOCUMENT_15 \
count 307511.000000 307511.000000 307511.000000 307511.00000
mean 0.000007 0.003525 0.002936 0.00121
std 0.002550 0.059268 0.054110 0.03476
min 0.000000 0.000000 0.000000 0.00000
25% 0.000000 0.000000 0.000000 0.00000
50% 0.000000 0.000000 0.000000 0.00000
75% 0.000000 0.000000 0.000000 0.00000
max 1.000000 1.000000 1.000000 1.00000
FLAG_DOCUMENT_16 FLAG_DOCUMENT_17 FLAG_DOCUMENT_18 FLAG_DOCUMENT_19 \
count 307511.000000 307511.000000 307511.000000 307511.000000
mean 0.009928 0.000267 0.008130 0.000595
std 0.099144 0.016327 0.089798 0.024387
min 0.000000 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000 0.000000
max 1.000000 1.000000 1.000000 1.000000
FLAG_DOCUMENT_20 FLAG_DOCUMENT_21 AMT_REQ_CREDIT_BUREAU_HOUR \
count 307511.000000 307511.000000 265992.000000
mean 0.000507 0.000335 0.006402
std 0.022518 0.018299 0.083849
min 0.000000 0.000000 0.000000
25% 0.000000 0.000000 0.000000
50% 0.000000 0.000000 0.000000
75% 0.000000 0.000000 0.000000
max 1.000000 1.000000 4.000000
AMT_REQ_CREDIT_BUREAU_DAY AMT_REQ_CREDIT_BUREAU_WEEK \
count 265992.000000 265992.000000
mean 0.007000 0.034362
std 0.110757 0.204685
min 0.000000 0.000000
25% 0.000000 0.000000
50% 0.000000 0.000000
75% 0.000000 0.000000
max 9.000000 8.000000
AMT_REQ_CREDIT_BUREAU_MON AMT_REQ_CREDIT_BUREAU_QRT \
count 265992.000000 265992.000000
mean 0.267395 0.265474
std 0.916002 0.794056
min 0.000000 0.000000
25% 0.000000 0.000000
50% 0.000000 0.000000
75% 0.000000 0.000000
max 27.000000 261.000000
AMT_REQ_CREDIT_BUREAU_YEAR
count 265992.000000
mean 1.899974
std 1.869295
min 0.000000
25% 0.000000
50% 1.000000
75% 3.000000
max 25.000000
数据相关性
data Correlation
查看两两特征之间的相关程度，对特征的处理有指导意义。
# The correlation matrix
corrmat = df.corr(numeric_only=True)
# Upper triangle of correlations
upper = corrmat.where(np.triu(np.ones(corrmat.shape), k=1).astype('bool'))
# Absolute value correlation
correlations = upper.unstack().dropna().sort_index()
correlations.abs().sort_values(ascending=False).head(20)
FLAG_EMP_PHONE DAYS_EMPLOYED 0.999755
YEARS_BUILD_MEDI YEARS_BUILD_AVG 0.998495
OBS_60_CNT_SOCIAL_CIRCLE OBS_30_CNT_SOCIAL_CIRCLE 0.998490
FLOORSMIN_MEDI FLOORSMIN_AVG 0.997241
FLOORSMAX_MEDI FLOORSMAX_AVG 0.997034
ENTRANCES_MEDI ENTRANCES_AVG 0.996886
ELEVATORS_MEDI ELEVATORS_AVG 0.996099
COMMONAREA_MEDI COMMONAREA_AVG 0.995978
LIVINGAREA_MEDI LIVINGAREA_AVG 0.995596
APARTMENTS_MEDI APARTMENTS_AVG 0.995081
BASEMENTAREA_MEDI BASEMENTAREA_AVG 0.994317
LIVINGAPARTMENTS_MEDI LIVINGAPARTMENTS_AVG 0.993825
YEARS_BEGINEXPLUATATION_MEDI YEARS_BEGINEXPLUATATION_AVG 0.993825
LANDAREA_MEDI LANDAREA_AVG 0.991610
NONLIVINGAPARTMENTS_MEDI NONLIVINGAPARTMENTS_AVG 0.990768
NONLIVINGAREA_MEDI NONLIVINGAREA_AVG 0.990444
YEARS_BUILD_MEDI YEARS_BUILD_MODE 0.989463
YEARS_BUILD_MODE YEARS_BUILD_AVG 0.989444
FLOORSMIN_MEDI FLOORSMIN_MODE 0.988406
FLOORSMAX_MEDI FLOORSMAX_MODE 0.988237
dtype: float64
fig, axs = plt.subplots(figsize=(10, 10))
sns.heatmap(corrmat, vmax=0.9, square=True)
axs.set_title('Correlations', size=15)
plt.show()
目标变量相关性
Continuous Features
# Find correlations with the target and sort
print('Most Positive Correlations:\n', correlations["TARGET"].tail(15))
print('\nMost Negative Correlations:\n', correlations["TARGET"].head(15))
Most Positive Correlations:
SK_ID_CURR -0.002108
dtype: float64
Most Negative Correlations:
SK_ID_CURR -0.002108
dtype: float64
# Extract the EXT_SOURCE variables and show correlations
cont_features = ['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3']
fig = plt.figure(figsize=(5, 8))
plt.subplots_adjust(right=1.5)
for i, source in enumerate(cont_features):
# Distribution of feature in dataset
ax = fig.add_subplot(3, 1, i + 1)
sns.kdeplot(x=source, data=df,
hue=target,
common_norm=False,
fill=True,
ax=ax)
# Label the plots
plt.title(f'Distribution of {source} by Target Value')
plt.xlabel(f'{source}')
plt.ylabel('Density')
plt.tight_layout(h_pad = 2.5)
# Extract the EXT_SOURCE variables and show correlations
cont_features = ['EXT_SOURCE_1', 'EXT_SOURCE_2', 'EXT_SOURCE_3']
for source in cont_features:
# Calculate the correlation coefficient between the variable and the target
corr = df[target].corr(df[source])
# Calculate medians for repaid vs not repaid
avg_repaid = df.loc[df[target] == 0, source].median()
avg_not_repaid = df.loc[df[target] == 1, source].median()
# print out the correlation
print('\nThe correlation between %s and the TARGET is %0.4f' % (source, corr))
# Print out average values
print('Median value for loan that was not repaid = %0.4f' % avg_not_repaid)
print('Median value for loan that was repaid = %0.4f' % avg_repaid)
The correlation between EXT_SOURCE_1 and the TARGET is -0.1553
Median value for loan that was not repaid = 0.3617
Median value for loan that was repaid = 0.5175
The correlation between EXT_SOURCE_2 and the TARGET is -0.1605
Median value for loan that was not repaid = 0.4404
Median value for loan that was repaid = 0.5739
The correlation between EXT_SOURCE_3 and the TARGET is -0.1789
Median value for loan that was not repaid = 0.3791
Median value for loan that was repaid = 0.5460
Categorical Features
cat_features = df.select_dtypes(["object"]).columns
fig = plt.figure(figsize=(16, 16))
for i, feature in enumerate(cat_features):
ax = fig.add_subplot(4, 4, i+1)
sns.countplot(x=feature, data=df,
hue=df[target].map(lambda x:str(x)),
fill=True,
ax=ax)
ax.set_xlabel(feature)
ax.set_ylabel('App Count')
ax.legend(loc='upper center')
plt.show()
目标变量分布
对于分类问题的目标变量，在sklearn中需要编码为数值型
| sklearn.preprocessing | 预处理 |
|---|---|
| LabelEncoder | 目标变量序数编码 |
| LabelBinarizer | 二分类目标数值化 |
| MultiLabelBinarizer | 多标签目标数值化 |
检查目标变量分布
# `TARGET` is the target variable we are trying to predict (0 or 1):
# 1 = Not Repaid
# 0 = Repaid
target = 'TARGET'
print(f"percentage of default : {df[target].mean():.2%}")
print(df[target].value_counts())
percentage of default : 8.07%
TARGET
0 282686
1 24825
Name: count, dtype: int64
现实中，样本（类别）样本不平衡（class-imbalance）是一种常见的现象，一般地，做分类算法训练时，如果样本类别比例（Imbalance Ratio）（多数类vs少数类）严重不平衡时，分类算法将开始做出有利于多数类的预测。一般有以下几种方法：权重法、采样法、数据增强、损失函数、集成方法、评估指标。
| 方法 | 函数 | python包 |
|---|---|---|
| SMOTE | SMOTE | imblearn.over_sampling |
| ADASYN | ADASYN | imblearn.over_sampling |
| Bagging算法 | BalancedBaggingClassifier | imblearn.ensemble |
| Boosting算法 | EasyEnsembleClassifier | imblearn.ensemble |
| 损失函数 | Focal Loss | self-define |
我们可以用imbalance-learn这个Python库实现诸如重采样和模型集成等大多数方法。
对于回归任务，假设预测目标为客户的贷款额度AMT_CREDIT
df['AMT_CREDIT'].describe()
count 3.075110e+05
mean 5.990260e+05
std 4.024908e+05
min 4.500000e+04
25% 2.700000e+05
50% 5.135310e+05
75% 8.086500e+05
max 4.050000e+06
Name: AMT_CREDIT, dtype: float64
我们画出AMT_CREDIT的分布图和QQ图。
Quantile-Quantile图是一种常用的统计图形，用来比较两个数据集之间的分布。它是由标准正态分布的分位数为横坐标，样本值为纵坐标的散点图。如果QQ图上的点在一条直线附近，则说明数据近似于正态分布，且该直线的斜率为标准差，截距为均值。
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import probplot, norm
def norm_comparison_plot(series):
series = pd.Series(series)
mu, sigma = norm.fit(series)
kurt, skew = series.kurt(), series.skew()
print(f"Kurtosis: {kurt:.2f}", f"Skewness: {skew:.2f}", sep='\t')
fig = plt.figure(figsize=(10, 4))
# Now plot the distribution
ax1 = fig.add_subplot(121)
ax1.set_title('Distribution')
ax1.set_ylabel('Frequency')
sns.distplot(series, fit=norm, ax=ax1)
ax1.legend(['dist','kde','norm'],f'Normal dist. ($\mu=$ {mu:.2f} and $\sigma=$ {sigma:.2f} )', loc='best')
# Get also the QQ-plot
ax2 = fig.add_subplot(122)
probplot(series, plot=plt)
可以看到 AMT_CREDIT 的分布呈偏态，许多回归算法都有正态分布假设，因此我们尝试对数变换，让数据接近正态分布。
norm_comparison_plot(np.log1p(df['AMT_CREDIT']))
plt.show()
Kurtosis: -0.29 Skewness: -0.34
可以看到经过对数变换后，基本符合正态分布了。
sklearn.compose 中的 TransformedTargetRegressor 是专门为回归任务设置的目标变换。对于简单的变换，TransformedTargetRegressor在拟合回归模型之前变换目标变量，预测时则通过逆变换映射回原始值。
from sklearn.linear_model import LinearRegression
from sklearn.compose import TransformedTargetRegressor
from sklearn.preprocessing import FunctionTransformer
reg = TransformedTargetRegressor(regressor=LinearRegression(),
transformer=FunctionTransformer(np.log1p))
附录：数据集字段描述
| Table | Row | 中文描述 |
|---|---|---|
| application | SK_ID_CURR | 此次申请的ID |
| application | TARGET | 申请人本次申请的还款风险：1-风险较高；0-风险较低 |
| application | NAME_CONTRACT_TYPE | 贷款类型：cash(现金)还是revolving(周转金，一次申请，多次循环提取) |
| application | CODE_GENDER | 申请人性别 |
| application | FLAG_OWN_CAR | 申请人是否有车 |
| application | FLAG_OWN_REALTY | 申请人是否有房 |
| application | CNT_CHILDREN | 申请人子女个数 |
| application | AMT_INCOME_TOTAL | 申请人收入状况 |
| application | AMT_CREDIT | 此次申请的贷款金额 |
| application | AMT_ANNUITY | 贷款年金 |
| application | AMT_GOODS_PRICE | 如果是消费贷款，改字段表示商品的实际价格 |
| application | NAME_TYPE_SUITE | 申请人此次申请的陪同人员 |
| application | NAME_INCOME_TYPE | 申请人收入类型 |
| application | NAME_EDUCATION_TYPE | 申请人受教育程度 |
| application | NAME_FAMILY_STATUS | 申请人婚姻状况 |
| application | NAME_HOUSING_TYPE | 申请人居住状况（租房，已购房，和父母一起住等） |
| application | REGION_POPULATION_RELATIVE | 申请人居住地人口密度，已标准化 |
| application | DAYS_BIRTH | 申请人出生日（距离申请当日的天数，负值） |
| application | DAYS_EMPLOYED | 申请人当前工作的工作年限（距离申请当日的天数，负值） |
| application | DAYS_REGISTRATION | 申请人最近一次修改注册信息的时间（距离申请当日的天数，负值） |
| application | DAYS_ID_PUBLISH | 申请人最近一次修改申请贷款的身份证明文件的时间（距离申请当日的天数，负值） |
| application | OWN_CAR_AGE | 申请人车龄 |
| application | FLAG_MOBIL | 申请人是否提供个人电话（1-yes，0-no） |
| application | FLAG_EMP_PHONE | 申请人是否提供家庭电话（1-yes，0-no） |
| application | FLAG_WORK_PHONE | 申请人是否提供工作电话（1-yes，0-no） |
| application | FLAG_CONT_MOBILE | 申请人个人电话是否能拨通（1-yes，0-no） |
| application | FLAG_PHONE | 是否提供家庭电话 |
| application | FLAG_EMAIL | 申请人是否提供电子邮箱（1-yes，0-no） |
| application | OCCUPATION_TYPE | 申请人职务 |
| application | CNT_FAM_MEMBERS | 家庭成员数量 |
| application | REGION_RATING_CLIENT | 本公司对申请人居住区域的评分等级（1,2,3） |
| application | REGION_RATING_CLIENT_W_CITY | 在考虑所在城市的情况下，本公司对申请人居住区域的评分等级（1,2,3） |
| application | WEEKDAY_APPR_PROCESS_START | 申请人发起申请日是星期几 |
| application | HOUR_APPR_PROCESS_START | 申请人发起申请的hour |
| application | REG_REGION_NOT_LIVE_REGION | 申请人提供的的永久地址和联系地址是否匹配（1-不匹配，2-匹配，区域级别的） |
| application | REG_REGION_NOT_WORK_REGION | 申请人提供的的永久地址和工作地址是否匹配（1-不匹配，2-匹配，区域级别的） |
| application | LIVE_REGION_NOT_WORK_REGION | 申请人提供的的联系地址和工作地址是否匹配（1-不匹配，2-匹配，区域级别的） |
| application | REG_CITY_NOT_LIVE_CITY | 申请人提供的的永久地址和联系地址是否匹配（1-不匹配，2-匹配，城市级别的） |
| application | REG_CITY_NOT_WORK_CITY | 申请人提供的的永久地址和工作地址是否匹配（1-不匹配，2-匹配，城市级别的） |
| application | LIVE_CITY_NOT_WORK_CITY | 申请人提供的的联系地址和工作地址是否匹配（1-不匹配，2-匹配，城市级别的） |
| application | ORGANIZATION_TYPE | 申请人工作所属组织类型 |
| application | EXT_SOURCE_1 | 外部数据源1的标准化评分 |
| application | EXT_SOURCE_2 | 外部数据源2的标准化评分 |
| application | EXT_SOURCE_3 | 外部数据源3的标准化评分 |
| application | APARTMENTS_AVG | 申请人居住环境各项指标的标准化评分 |
| application | BASEMENTAREA_AVG | 居住信息 |
| application | YEARS_BEGINEXPLUATATION_AVG | 居住信息 |
| application | YEARS_BUILD_AVG | 居住信息 |
| application | COMMONAREA_AVG | 居住信息 |
| application | ELEVATORS_AVG | 居住信息 |
| application | ENTRANCES_AVG | 居住信息 |
| application | FLOORSMAX_AVG | 居住信息 |
| application | FLOORSMIN_AVG | 居住信息 |
| application | LANDAREA_AVG | 居住信息 |
| application | LIVINGAPARTMENTS_AVG | 居住信息 |
| application | LIVINGAREA_AVG | 居住信息 |
| application | NONLIVINGAPARTMENTS_AVG | 居住信息 |
| application | NONLIVINGAREA_AVG | 居住信息 |
| application | APARTMENTS_MODE | 居住信息 |
| application | BASEMENTAREA_MODE | 居住信息 |
| application | YEARS_BEGINEXPLUATATION_MODE | 居住信息 |
| application | YEARS_BUILD_MODE | 居住信息 |
| application | COMMONAREA_MODE | 居住信息 |
| application | ELEVATORS_MODE | 居住信息 |
| application | ENTRANCES_MODE | 居住信息 |
| application | FLOORSMAX_MODE | 居住信息 |
| application | FLOORSMIN_MODE | 居住信息 |
| application | LANDAREA_MODE | 居住信息 |
| application | LIVINGAPARTMENTS_MODE | 居住信息 |
| application | LIVINGAREA_MODE | 居住信息 |
| application | NONLIVINGAPARTMENTS_MODE | 居住信息 |
| application | NONLIVINGAREA_MODE | 居住信息 |
| application | APARTMENTS_MEDI | 居住信息 |
| application | BASEMENTAREA_MEDI | 居住信息 |
| application | YEARS_BEGINEXPLUATATION_MEDI | 居住信息 |
| application | YEARS_BUILD_MEDI | 居住信息 |
| application | COMMONAREA_MEDI | 居住信息 |
| application | ELEVATORS_MEDI | 居住信息 |
| application | ENTRANCES_MEDI | 居住信息 |
| application | FLOORSMAX_MEDI | 居住信息 |
| application | FLOORSMIN_MEDI | 居住信息 |
| application | LANDAREA_MEDI | 居住信息 |
| application | LIVINGAPARTMENTS_MEDI | 居住信息 |
| application | LIVINGAREA_MEDI | 居住信息 |
| application | NONLIVINGAPARTMENTS_MEDI | 居住信息 |
| application | NONLIVINGAREA_MEDI | 居住信息 |
| application | FONDKAPREMONT_MODE | 居住信息 |
| application | HOUSETYPE_MODE | 居住信息 |
| application | TOTALAREA_MODE | 居住信息 |
| application | WALLSMATERIAL_MODE | 居住信息 |
| application | EMERGENCYSTATE_MODE | 居住信息 |
| application | OBS_30_CNT_SOCIAL_CIRCLE | 客户的社会关系中有30天逾期 |
| application | DEF_30_CNT_SOCIAL_CIRCLE | 客户的社会关系中有30天逾期 |
| application | OBS_60_CNT_SOCIAL_CIRCLE | 客户的社会关系中有60天逾期 |
| application | DEF_60_CNT_SOCIAL_CIRCLE | 客户的社会关系中有60天逾期 |
| application | DAYS_LAST_PHONE_CHANGE | 申请人最近一次修改手机号码的时间（距离申请当日的天数，负值） |
| application | FLAG_DOCUMENT_2 | 申请人是否额外提供了2号文件 |
| application | FLAG_DOCUMENT_3 | 申请人是否额外提供了3号文件 |
| application | FLAG_DOCUMENT_4 | 申请人是否额外提供了4号文件 |
| application | FLAG_DOCUMENT_5 | 申请人是否额外提供了5号文件 |
| application | FLAG_DOCUMENT_6 | 申请人是否额外提供了6号文件 |
| application | FLAG_DOCUMENT_7 | 申请人是否额外提供了7号文件 |
| application | FLAG_DOCUMENT_8 | 申请人是否额外提供了8号文件 |
| application | FLAG_DOCUMENT_9 | 申请人是否额外提供了9号文件 |
| application | FLAG_DOCUMENT_10 | 申请人是否额外提供了10号文件 |
| application | FLAG_DOCUMENT_11 | 申请人是否额外提供了11号文件 |
| application | FLAG_DOCUMENT_12 | 申请人是否额外提供了12号文件 |
| application | FLAG_DOCUMENT_13 | 申请人是否额外提供了13号文件 |
| application | FLAG_DOCUMENT_14 | 申请人是否额外提供了14号文件 |
| application | FLAG_DOCUMENT_15 | 申请人是否额外提供了15号文件 |
| application | FLAG_DOCUMENT_16 | 申请人是否额外提供了16号文件 |
| application | FLAG_DOCUMENT_17 | 申请人是否额外提供了17号文件 |
| application | FLAG_DOCUMENT_18 | 申请人是否额外提供了18号文件 |
| application | FLAG_DOCUMENT_19 | 申请人是否额外提供了19号文件 |
| application | FLAG_DOCUMENT_20 | 申请人是否额外提供了20号文件 |
| application | FLAG_DOCUMENT_21 | 申请人是否额外提供了21号文件 |
| application | AMT_REQ_CREDIT_BUREAU_HOUR | 申请人发起申请前1个小时以内，被查询征信的次数 |
| application | AMT_REQ_CREDIT_BUREAU_DAY | 申请人发起申请前一天以内，被查询征信的次数 |
| application | AMT_REQ_CREDIT_BUREAU_WEEK | 申请人发起申请前一周以内，被查询征信的次数 |
| application | AMT_REQ_CREDIT_BUREAU_MON | 申请人发起申请前一月以内，被查询征信的次数 |
| application | AMT_REQ_CREDIT_BUREAU_QRT | 申请人发起申请前一个季度以内，被查询征信的次数 |
| application | AMT_REQ_CREDIT_BUREAU_YEAR | 申请人发起申请前一年以内，被查询征信的次数 |
| bureau | SK_ID_CURR | 此次申请的ID |
| bureau | SK_BUREAU_ID | SK_BUREAU_ID |
| bureau | CREDIT_ACTIVE | 信用卡状态 |
| bureau | CREDIT_CURRENCY | 信用货币类型，currency1-4，共四个特征 |
| bureau | DAYS_CREDIT | 客户在申请日前多少天申请的征信机构信用 |
| bureau | CREDIT_DAY_OVERDUE | 申请贷款时客户的逾期天数 |
| bureau | DAYS_CREDIT_ENDDATE | 客户的在征信机构还有多少天的信用时间 |
| bureau | DAYS_ENDDATE_FACT | 客户在征信机构关闭了多久的信用 |
| bureau | AMT_CREDIT_MAX_OVERDUE | 客户到目前为止的最大逾期额度 |
| bureau | CNT_CREDIT_PROLONG | 在征信机构有几次延期 |
| bureau | AMT_CREDIT_SUM | 客户当前在信用机构的信用额度 |
| bureau | AMT_CREDIT_SUM_DEBT | 客户在信用机构的当前债务 |
| bureau | AMT_CREDIT_SUM_LIMIT | 信用卡的信用限额 |
| bureau | AMT_CREDIT_SUM_OVERDUE | 客户在信用机构的违约之和 |
| bureau | CREDIT_TYPE | 信用机构的信用类型，车贷、房贷、信用卡、经营贷等 |
| bureau | DAYS_CREDIT_UPDATE | 信用机构的最近一次信息更新是多少天前 |
| bureau | AMT_ANNUITY | 每年要还的贷款额度 |
| bureau_balance | SK_BUREAU_ID | SK_BUREAU_ID |
| bureau_balance | MONTHS_BALANCE | 距今的月份 |
| bureau_balance | STATUS | C代表closed、X是未知、0是无逾期、1是逾期在1-30天、2是逾期31-60天、3是逾期61-90天、4是逾期91-120天、5是逾期120天以上。 |
| POS_CASH_balance | SK_ID_PREV | SK_ID_PREV |
| POS_CASH_balance | SK_ID_CURR | SK_ID_CURR |
| POS_CASH_balance | MONTHS_BALANCE | 距今的月份 |
| POS_CASH_balance | CNT_INSTALMENT | 贷款期数 |
| POS_CASH_balance | CNT_INSTALMENT_FUTURE | 贷款剩余期数 |
| POS_CASH_balance | NAME_CONTRACT_STATUS | 合同状态，Active、Signed、Complete |
| POS_CASH_balance | SK_DPD | 当月逾期了多少天 |
| POS_CASH_balance | SK_DPD_DEF | 忽略金额比较低的贷款，逾期了多少天 |
| credit_card_balance | SK_ID_PREV | SK_ID_PREV |
| credit_card_balance | SK_ID_CURR | SK_ID_CURR |
| credit_card_balance | MONTHS_BALANCE | 距今的月份 |
| credit_card_balance | AMT_BALANCE | Balance during the month of previous credit |
| credit_card_balance | AMT_CREDIT_LIMIT_ACTUAL | Credit card limit during the month of the previous credit |
| credit_card_balance | AMT_DRAWINGS_ATM_CURRENT | Amount drawing at ATM during the month of the previous credit |
| credit_card_balance | AMT_DRAWINGS_CURRENT | Amount drawing during the month of the previous credit |
| credit_card_balance | AMT_DRAWINGS_OTHER_CURRENT | Amount of other drawings during the month of the previous credit |
| credit_card_balance | AMT_DRAWINGS_POS_CURRENT | Amount drawing or buying goods during the month of the previous credit |
| credit_card_balance | AMT_INST_MIN_REGULARITY | Minimal installment for this month of the previous credit |
| credit_card_balance | AMT_PAYMENT_CURRENT | How much did the client pay during the month on the previous credit |
| credit_card_balance | AMT_PAYMENT_TOTAL_CURRENT | How much did the client pay during the month in total on the previous credit |
| credit_card_balance | AMT_RECEIVABLE_PRINCIPAL | Amount receivable for principal on the previous credit |
| credit_card_balance | AMT_RECIVABLE | Amount receivable on the previous credit |
| credit_card_balance | AMT_TOTAL_RECEIVABLE | Total amount receivable on the previous credit |
| credit_card_balance | CNT_DRAWINGS_ATM_CURRENT | Number of drawings at ATM during this month on the previous credit |
| credit_card_balance | CNT_DRAWINGS_CURRENT | Number of drawings during this month on the previous credit |
| credit_card_balance | CNT_DRAWINGS_OTHER_CURRENT | Number of other drawings during this month on the previous credit |
| credit_card_balance | CNT_DRAWINGS_POS_CURRENT | Number of drawings for goods during this month on the previous credit |
| credit_card_balance | CNT_INSTALMENT_MATURE_CUM | Number of paid installments on the previous credit |
| credit_card_balance | NAME_CONTRACT_STATUS | 合同状态，Active、Signed、Complete |
| credit_card_balance | SK_DPD | 当月逾期了多少天 |
| credit_card_balance | SK_DPD_DEF | 忽略金额比较低的贷款，逾期了多少天 |
| previous_application | SK_ID_PREV | SK_ID_PREV |
| previous_application | SK_ID_CURR | SK_ID_CURR |
| previous_application | NAME_CONTRACT_TYPE | 合同类型是现金还是循环贷 |
| previous_application | AMT_ANNUITY | 每年要还的贷款额度 |
| previous_application | AMT_APPLICATION | 之前的贷款申请了多少钱数值 |
| previous_application | AMT_CREDIT | 客户的贷款信贷额度 |
| previous_application | AMT_DOWN_PAYMENT | 之前贷款的首付款 |
| previous_application | AMT_GOODS_PRICE | 对于消费贷来说，这个字段是要买的商品价格，从数据看每个贷款都对应某个商品，难道业务全部是消费贷吗 |
| previous_application | WEEKDAY_APPR_PROCESS_START | 周几申请的贷款，一般工作日多 |
| previous_application | HOUR_APPR_PROCESS_START | 几点申请的贷款 |
| previous_application | FLAG_LAST_APPL_PER_CONTRACT | 有时一个合同会被错误的提交多次申请，这个字段用来标志是不是一个贷款的最后一次申请 |
| previous_application | NFLAG_LAST_APPL_IN_DAY | 是不是当天的最后一次申请 |
| previous_application | NFLAG_MICRO_CASH | 是不是小微金融贷 |
| previous_application | RATE_DOWN_PAYMENT | 归一化的贷款首付比例 |
| previous_application | RATE_INTEREST_PRIMARY | 主要贷款利息的归一化值 |
| previous_application | RATE_INTEREST_PRIVILEGED | 优惠贷款利息的归一化值 |
| previous_application | NAME_CASH_LOAN_PURPOSE | 贷款用途 |
| previous_application | NAME_CONTRACT_STATUS | 合同状态，Active、Signed、Complete |
| previous_application | DAYS_DECISION | 相对于当前贷款，上一次申请的决定是什么时候做的 |
| previous_application | NAME_PAYMENT_TYPE | 客户选择上一次贷款的付款方式，现金、电子支付、XNA |
| previous_application | CODE_REJECT_REASON | 被拒原因，XAP、HC、LIMIT |
| previous_application | NAME_TYPE_SUITE | 办理贷款的时候是谁跟着一起来的：孩子、家人、配偶、自己、… |
| previous_application | NAME_CLIENT_TYPE | 客户是新客还是老客 |
| previous_application | NAME_GOODS_CATEGORY | 贷款是为了买什么类型的东西 |
| previous_application | NAME_PORTFOLIO | pos、cash、cards、xna |
| previous_application | NAME_PRODUCT_TYPE | x-sell、walk-in、xna |
| previous_application | CHANNEL_TYPE | 获客渠道，country wide、contact center、stone、AP+（cash loan） |
| previous_application | SELLERPLACE_AREA | 销售区域的面积 |
| previous_application | NAME_SELLER_INDUSTRY | 卖家（应该是客户要买商品的卖家）的行业，消费电子、衣服、工业等 |
| previous_application | CNT_PAYMENT | 之前贷款分为多少期还款 |
| previous_application | NAME_YIELD_GROUP | 贷款利息，small、medium、high |
| previous_application | PRODUCT_COMBINATION | 产品组合、 PRODUCT_COMBINATION、Cash X-Sell: low、Cash、POS household with interest |
| previous_application | DAYS_FIRST_DRAWING | 相对于当前申请日期，上一次贷款的首次发放时间 |
| previous_application | DAYS_FIRST_DUE | 相对于当前申请日期，上一次贷款的首次逾期时间 |
| previous_application | DAYS_LAST_DUE_1ST_VERSION | 第一次逾期 |
| previous_application | DAYS_LAST_DUE | 最近一次逾期 |
| previous_application | DAYS_TERMINATION | 到期日期 |
| previous_application | NFLAG_INSURED_ON_APPROVAL | 之前的申请有没有要求保险 |
| installments_payments | SK_ID_PREV | SK_ID_PREV |
| installments_payments | SK_ID_CURR | SK_ID_CURR |
| installments_payments | NUM_INSTALMENT_VERSION | 分期付款 |
| installments_payments | NUM_INSTALMENT_NUMBER | 分期付款期数 |
| installments_payments | DAYS_INSTALMENT | 相对于当前申请日期，之前的贷款应该在什么时间支付 |
| installments_payments | DAYS_ENTRY_PAYMENT | 相对于当前申请日期，之前贷款的实际支付时间 |
| installments_payments | AMT_INSTALMENT | 贷款分期的约定付款金额 |
| installments_payments | AMT_PAYMENT | 分期的实际付款金额 |
参考文献：
Home Credit Default Risk - 1 之基础篇
Home Credit Default Risk 之FeatureTools篇
Feature Engineering for House Prices
Credit Fraud信用卡欺诈数据集，如何处理非平衡数据
Predict Future Sales 预测未来销量, Kaggle 比赛，LB 0.89896 排名6%
feature-engine 将特征工程中常用的方法进行了封装
分享关于人工智能的内容
特征工程系列：特征筛选的原理与实现（上） 7.23
特征工程系列：特征筛选的原理与实现（下） 7.23
特征工程系列：数据清洗 8.1
特征工程系列：特征预处理（上） 8.8
特征工程系列：特征预处理（下） 8.16
特征工程系列：特征构造之概览篇 10.8
特征工程系列：聚合特征构造以及转换特征构造 10.12
特征工程系列：笛卡尔乘积特征构造以及遗传编程特征构造 10.15
特征工程系列：GBDT特征构造以及聚类特征构造 10.30
特征工程系列：时间特征构造以及时间序列特征构造 11.11
特征工程系列：自动化特征构造 12.10
特征工程系列：空间特征构造以及文本特征构造 12.10
6757
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
