缺失值数据填充

处理缺失值的两种方法:

1、删除缺失值的行;
2、填充缺失值。

  如果缺失值的行占比较多,进行删除缺失值的话,将丢失大量的数据,这样得到的模型可能会很差;所以一般对缺失值的处理都是进行填充。

数据可以分以下两类:

1、数值数据;
2、分类数据;

1、填充数值数据的缺失值

对于数值数据的填充,一般使用0、均值、中位数众数来填充。

方式一:在全体数据上进行填充
该方法是对所有数据进行填充。

# bmi特征列,使用0对缺失值进行填充
x['bmi'] = x['bmi'].fillna(0)

或者:

from sklearn.preprocessing import Imputer
# bmi特征列,使用均值对缺失值进行填充
imputer = Imputer(strategy="mean")
# 行到一个新的DataFrame
x_imputer = pd.DataFrame(imputer.fit_transform(x),columns=['bmi'])

方式二:使用Pipeline和Imputer
  方法一有个缺点,就是当使用均值填充时,使用的是全部数据的均值进行填充,这对模型验证时不利,因为模型已经知道了验证集的部分信息。使用Pipeline和Imputer可以有效地解决这个问题。
  Pipeline类会替我们处理大部分流程:可以恰当地从多个训练集取值并用其填充测试集的缺失值,还可以正确测试KNN的泛化能力,最终输出性能最佳的模型。

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import Imputer

# K邻近模型,knn分类器
knn = KNeighborsClassifier()
# 网络搜索参数
knn_params =  {'classify__n_neighbors':[1,2,3,4,5,6,7,8,9]}

mean_impute = Pipeline([('imputer',Imputer(strategy='mean')),('classify',knn)])
# 网络搜索模型
grid = GridSearchCV(mean_impute,knn_params)
grid.fit(x,y)

print(grid.best_score_,grid.best_params_)
2、填充分类数据的缺失值

对于分类数据的填充,一般使用分类值中出现次数最多的值来填充。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值