客户贷款逾期预测[5] - 特征工程

目录

 

任务

数据探索

特征删除

缺失值处理

异常值处理

特征生成

特征合并

特征缩放

数据归一化

数据标准化

相关性分析

划分训练集、模型评估和选择

参考

---

任务

        关于数据类型转换以及缺失值处理（尝试不同的填充看效果）以及你能借鉴的数据探索

特征工程

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score,precision_score,recall_score,f1_score
from sklearn.metrics import roc_auc_score,roc_curve,auc

数据探索

       首先观察一下数据构成：

data = pd.read_csv('data.csv',encoding='gbk')
data.head()

data.shape

(4754, 90)

特征删除

#删除一些与识别个人身份相关的特征
data.drop(['custid','trade_no','bank_card_no','id_name'],axis=1,inplace=True)
data.drop('Unnamed: 0',axis=1,inplace=True)

将数据划分成X,y,并将X划分为数值型和非数值型

#数据划分为数值型、非数值型、标签
X_num = (data.drop('status',axis=1)).select_dtypes('number').copy()
X_str = data.select_dtypes(exclude='number').copy()
y = data['status']

#删除只有单一值的数据
for col in X_str:
    if len(X_str[col].unique()) == 1:
        print(col)
for col in X_num:
    if len(X_num[col].unique()) == 1:
        print(col)
        
X_str.drop('source',axis=1,inplace=True)

缺失值处理

X_num_miss = ( X_num.isnull().sum()/len(X_num) ).sort_values(ascending=False)
X_num_miss.head()

X_str_miss = (X_str.isnull().sum() / len(X_str)).sort_values(ascending=False)
X_str_miss

 

       可以看到，缺失率最高的特征是student_feature,超过一半的数据缺失，其他的特征缺失率都在10%以下。对于高缺失率的特征，有两种方法进行处理，一个是EM插补，另一个是多重插补。由于两种方法比较复杂，这里先将缺失值归为一类，用0填充。

#X_num['student_feature'].value_counts()
X_num.fillna(0,inplace=True)