寻找数据集最佳的缺失值的填补方法（分析思路的整理）

寻找数据集最佳的缺失值的填补方法（分析思路的整理）：

第一步，导入需要用到的库；

第二步，导入完整的数据集并进行探索，以波士顿数据为例

       例如：将特征数据集和标签数据集分出来

 X_full, y_full = dataset.data, dataset.target

# 找出特征列的的行列的范围

n_samples = X_full . shape [ 0 ]

n_features = X_full . shape [ 1 ]

第三步，为完整数据集放入缺失值

               首先设置一个缺失的比例，计算出缺失的数据的数量

               然后从特征的行列索引范围内，随机取要选的数量

missing_features = rng.randint(0,n_features,n_missing_samples)
# randint(下限，上限，n)  ,意思是请在下限和上限之间取出n个整数

missing_samples = rng.randint(0,n_samples,n_missing_samples)

                 最后，防止操作错误，先复制数据集，然后，将选出的索引值的位置用nan填充

X_missing = X_full.copy()
y_missing = y_full.copy()

X_missing[missing_samples,missing_features] = np.nan

第四步，  使用0和均值填补缺失值

            第一种：使用均值填补缺失值

#使用均值进行填补
from sklearn.impute import SimpleImputer
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean') # 实例化
X_missing_mean = imp_mean.fit_transform(X_missing)               # 训练fit+导出predict 》》》特殊的接口fit_transform 

           第二种：使用0去填充

# 数据用0进行填充
imp_0 = SimpleImputer(missing_values=np.nan, strategy="constant",fill_value=0)  # constant 是指常数
X_missing_0 = imp_0.fit_transform(X_missing)

第五步，使用随机森林填补缺失值

         首先，将原始的特征列复制一份数据集，找出数据集中，缺失值从小到大排列的特征们的顺序

X_missing_reg = X_missing.copy()

# 找出数据集中，缺失值从小到大排列的特征们的顺序,有了这些特征的索引
sortindex = np.argsort(X_missing_reg.isnull().sum(axis=0)).values
# np.sort()会返回从小到大排序的值，会丢掉索引
# np.argsort()会返回从小到大排序的顺序所对应的索引，数组array

     

然后，做循环（整个过程大致可以分为五步），从缺失值最大的开始。

参考代码：

for i in sortindex:
    #构建我们的新特征矩阵（没有被选中去填充的特征+原始的标签）和新标签（被选中去填充的标签）
    df = X_missing_reg   # 目的是为了在进行循环时，缺失的特征值用0的填充，不改变原有的数据集
    fillc = df.iloc[:,i]
    df = pd.concat([df.iloc[:,df.columns != i],pd.DataFrame(y_full)],axis=1)
    #在新特征矩阵中，对含有缺失值的列，进行0的填补；先实例化，后接口，一步到位
    df_0 =SimpleImputer(missing_values=np.nan,
                        strategy='constant',fill_value=0).fit_transform(df)
    #找出我们的训练集和测试集
    Ytrain = fillc[fillc.notnull()]
    Ytest = fillc[fillc.isnull()]
    Xtrain = df_0[Ytrain.index,:]
    Xtest = df_0[Ytest.index,:]
    #用随机森林回归来填补缺失值
    rfc = RandomForestRegressor(n_estimators=100)
    rfc = rfc.fit(Xtrain, Ytrain)
    Ypredict = rfc.predict(Xtest)
    #将填补好的特征返回到我们的原始的特征矩阵中，用切片和索引来做
    X_missing_reg.loc[X_missing_reg.iloc[:,i].isnull(),i] = Ypredict

第六步， 对填补好的数据进行建模

              对所有的数据进行建模，取得mse结果

#对所有数据进行建模，取得MSE结果
X = [X_full,X_missing_mean,X_missing_0,X_missing_reg]
mse = []
for x in X:
    estimator = RandomForestRegressor(random_state=0, n_estimators=100) # shilihua
    scores = cross_val_score(estimator,x,y_full,scoring='neg_mean_squared_error', 
    cv=5).mean()
    mse.append(scores * -1)

第七步，用所画的结果画出条形图

            通过在条形图上进行对比，观察四种情况之下的拟合状况。