用随机森林回归填补缺失值(特征矩阵中的缺失值)

导入完整的数据集并探索

以波士顿数据集为例

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_boston
from sklearn.impute import SimpleImputer  #用来填补缺失值的类
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score
dataset = load_boston()
X_full, Y_full = dataset.data,dataset.target
n_samples = X_full.shape[0]
n_features = X_full.shape[1]

为完整的数据集放入缺失值

#首先确定我们希望放入的缺失数据的比例,在这里我们假设是50%,那总共就有506*13/2=3289个数据缺失
rng = np.random.RandomState(0)
missing_rate = 0.5
n_missing_samples = int(np.floor(n_samples * n_features * missing_rate))

得到n_missing_samples为3289

#所有数据要随机遍布在数据集的各行各列当中,而一个缺失的数据会需要一个行索引和一个列索引
#如果能够创造一个数组,包含3289个分布在0~506中间的行索引,和3289个分布在0~13之间的列索引,那我们就可以利用索引来为数据中的任意3289个位置赋空值
#然后我们用0,均值和随机森林来填写这些缺失值,然后查看回归的结果如何
missing_features=rng.randint(0,n_features,n_missing_samples)
# randint (下限,上限,n)在下限和上限之前取出n个整数(可重复)
missing_samples=rng.randint(0,n_samples,n_missing_samples)

missing_samples = rng.choice(dataset.data.shape[0],n_missing_samples,replace=False)

我们现在采样了3289个数据,远远超过我们的样本量506,所以我们使用随机抽取的函数randint。但如果我们需要的数据量小于我们的样本量506,那我们可以采用np.random.choice来抽样,choice会随机抽取不重复的随机数, 因此可以帮助我们让数据更加分散,确保数据不会集中在一些行中。

下一步,我们copy一下未缺失的数据,因为原数据我也想留着嘛。

X_missing = X_full.copy()
y_missing 
  • 5
    点赞
  • 42
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值