目录
任务
关于数据类型转换以及缺失值处理(尝试不同的填充看效果)以及你能借鉴的数据探索
特征工程
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score,precision_score,recall_score,f1_score
from sklearn.metrics import roc_auc_score,roc_curve,auc
数据探索
首先观察一下数据构成:
data = pd.read_csv('data.csv',encoding='gbk')
data.head()
data.shape
(4754, 90)
特征删除
#删除一些与识别个人身份相关的特征
data.drop(['custid','trade_no','bank_card_no','id_name'],axis=1,inplace=True)
data.drop('Unnamed: 0',axis=1,inplace=True)
将数据划分成X,y,并将X划分为数值型和非数值型
#数据划分为数值型、非数值型、标签
X_num = (data.drop('status',axis=1)).select_dtypes('number').copy()
X_str = data.select_dtypes(exclude='number').copy()
y = data['status']
#删除只有单一值的数据
for col in X_str:
if len(X_str[col].unique()) == 1:
print(col)
for col in X_num:
if len(X_num[col].unique()) == 1:
print(col)
X_str.drop('source',axis=1,inplace=True)
缺失值处理
X_num_miss = ( X_num.isnull().sum()/len(X_num) ).sort_values(ascending=False)
X_num_miss.head()
X_str_miss = (X_str.isnull().sum() / len(X_str)).sort_values(ascending=False)
X_str_miss
可以看到,缺失率最高的特征是student_feature,超过一半的数据缺失,其他的特征缺失率都在10%以下。对于高缺失率的特征,有两种方法进行处理,一个是EM插补,另一个是多重插补。由于两种方法比较复杂,这里先将缺失值归为一类,用0填充。
#X_num['student_feature'].value_counts()
X_num.fillna(0,inplace=Tr