导入完整的数据集并探索
以波士顿数据集为例
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_boston
from sklearn.impute import SimpleImputer #用来填补缺失值的类
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score
dataset = load_boston()
X_full, Y_full = dataset.data,dataset.target
n_samples = X_full.shape[0]
n_features = X_full.shape[1]
为完整的数据集放入缺失值
#首先确定我们希望放入的缺失数据的比例,在这里我们假设是50%,那总共就有506*13/2=3289个数据缺失
rng = np.random.RandomState(0)
missing_rate = 0.5
n_missing_samples = int(np.floor(n_samples * n_features * missing_rate))
得到n_missing_samples为3289
#所有数据要随机遍布在数据集的各行各列当中,而一个缺失的数据会需要一个行索引和一个列索引
#如果能够创造一个数组,包含3289个分布在0~506中间的行索引,和3289个分布在0~13之间的列索引,那我们就可以利用索引来为数据中的任意3289个位置赋空值
#然后我们用0,均值和随机森林来填写这些缺失值,然后查看回归的结果如何
missing_features=rng.randint(0,n_features,n_missing_samples)
# randint (下限,上限,n)在下限和上限之前取出n个整数(可重复)
missing_samples=rng.randint(0,n_samples,n_missing_samples)
missing_samples = rng.choice(dataset.data.shape[0],n_missing_samples,replace=False)
我们现在采样了3289个数据,远远超过我们的样本量506,所以我们使用随机抽取的函数randint。但如果我们需要的数据量小于我们的样本量506,那我们可以采用np.random.choice来抽样,choice会随机抽取不重复的随机数, 因此可以帮助我们让数据更加分散,确保数据不会集中在一些行中。
下一步,我们copy一下未缺失的数据,因为原数据我也想留着嘛。
X_missing = X_full.copy()
y_missing