特征工程:缺失值填充总结(众数,中数,KNN近邻填充,预测填充)

最新推荐文章于 2023-07-26 16:07:14 发布
最新推荐文章于 2023-07-26 16:07:14 发布
阅读量4.8k 收藏 16
点赞数
分类专栏： 特征工程 数据处理 缺失值填充 文章标签： 机器学习
原文链接：https://blog.csdn.net/jingyi130705008/article/details/82670011?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522161032989916780274120248%252522%25252C%252522scm%252522%25253A%25252220140713.130102334..%252522%25257D&request_id=161032989
版权

面试不仅仅是一个找工作的过程，还是一个向面试官交流学习的过程。之前的某次面试中，聊到了缺失值填充方法，经面试官指点学到了一些技能，下面简要总结一下。

常见的缺失值填充方法有填充默认值、均值、众数、KNN填充、以及把缺失值作为新的label通过模型来预测等方式，为了介绍这几种填充方法的使用以及填充效果，本文将在真实数据集上进行简单比较。

1. 数据集介绍

数据集来源于 天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测。该数据集共有1000条数据，特征共83维，加上id和label共85列，每维特征缺失数量范围为0~911。为了简单比较各种填充方法的效果，我们选取最简单的二分类模型（逻辑回归），选取F1 score作为评测指标。

读取数据集代码如下：


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data = pd.read_csv(
       
       'train_data.csv', encoding=
       
       'gbk') 
       
       # 读取数据集
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       filter_feature = [
       
       'id',
       
       'label'] 
       
       # 过滤无用的维度
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       features = []
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       for x 
       
       in train_data.columns: 
       
       # 取特征
      
      
    
     
     
  6. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       if x 
       
       not 
       
       in filter_feature:
      
      
    
     
     
  7. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
               features.append(x)
      
      
    
     
     
  8. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  9. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data_x = train_data[features] 
      
      
    
     
     
  10. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data_y = train_data[
       
       'label']
      
      
    
     
     
  11. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       X_train, X_test, y_train, y_test = train_test_split(train_data_x, train_data_y, random_state=
       
       1) 
       
       # 划分训练集、测试集

2. 常见的填充方法

（1）填充固定值

选取某个固定值/默认值填充缺失值。

train_data.fillna(0, inplace=True) # 填充 0

（2）填充均值

对每一列的缺失值，填充当列的均值。

train_data.fillna(train_data.mean(),inplace=True) # 填充均值

（3）填充中位数

对每一列的缺失值，填充当列的中位数。

train_data.fillna(train_data.median(),inplace=True) # 填充中位数

（4）填充众数

对每一列的缺失值，填充当列的众数。由于存在某列缺失值过多，众数为nan的情况，因此这里取的是每列删除掉nan值后的众数。


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data.fillna(train_data.mode(),inplace=
       
       True) 
       
       # 填充众数,该数据缺失太多众数出现为nan的情况
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       features_mode = {}
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       for f in features:
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       print f,
       
       ':', 
       
       list(train_data[f].dropna().mode().values)
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           features_mode[f] = 
       
       list(train_data[f].dropna().mode().values)[
       
       0]
      
      
    
     
     
  6. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data.fillna(features_mode,inplace=
       
       True)

（5）填充上下条的数据

对每一条数据的缺失值，填充其上下条数据的值。


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data.fillna(method=
       
       'pad', inplace=
       
       True) 
       
       # 填充前一条数据的值，但是前一条也不一定有值
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data.fillna(
       
       0, inplace=
       
       True)
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data.fillna(method=
       
       'bfill', inplace=
       
       True) 
       
       # 填充后一条数据的值，但是后一条也不一定有值
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data.fillna(
       
       0, inplace=
       
       True)

（6）填充插值得到的数据

用插值法拟合出缺失的数据，然后进行填充。


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       for f in features: 
       
       # 插值法填充
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           train_data[f] = train_data[f].interpolate()
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data.dropna(inplace=
       
       True)

（7）填充KNN数据

填充近邻的数据，先利用knn计算临近的k个数据，然后填充他们的均值。（安装fancyimpute）除了knn填充，fancyimpute还提供了其他填充方法。


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       from fancyimpute 
       
       import KNN
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data_x = pd.DataFrame(KNN(k=
       
       6).fit_transform(train_data_x), columns=features)

（8）填充模型预测的值

把缺失值作为新的label，建立模型得到预测值，然后进行填充。这里选择某个缺失值数量适当的特征采用随机森林RF进行拟合，其他缺失特征采用均值进行填充。


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_label = 
       
       'SNP46'
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_features = []
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       for f 
       
       in features:
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       if f != new_label:
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
               new_features.append(f)
      
      
    
     
     
  6. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
            
      
      
    
     
     
  7. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_train_x = train_data[train_data[new_label].isnull()==
       
       False][new_features]
      
      
    
     
     
  8. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_train_x.fillna(new_train_x.mean(), inplace=
       
       True) 
       
       # 其他列填充均值
      
      
    
     
     
  9. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_train_y = train_data[train_data[new_label].isnull()==
       
       False][new_label]
      
      
    
     
     
  10. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  11. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_predict_x = train_data[train_data[new_label].isnull()==
       
       True][new_features]
      
      
    
     
     
  12. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_predict_x.fillna(new_predict_x.mean(), inplace=
       
       True) 
       
       # 其他列填充均值
      
      
    
     
     
  13. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_predict_y = train_data[train_data[new_label].isnull()==
       
       True][new_label]
      
      
    
     
     
  14. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  15. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       rfr = RandomForestRegressor(random_state=
       
       666, n_estimators=
       
       10, n_jobs=
       
       -1)
      
      
    
     
     
  16. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       rfr.fit(new_train_x, new_train_y)
      
      
    
     
     
  17. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_predict_y = rfr.predict(new_predict_x)
      
      
    
     
     
  18. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  19. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_predict_y = pd.DataFrame(new_predict_y, columns=[new_label], index=new_predict_x.index)
      
      
    
     
     
  20. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_predict_y = pd.concat([new_predict_x, new_predict_y], axis=
       
       1)
      
      
    
     
     
  21. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_train_y = pd.concat([new_train_x, new_train_y], axis=
       
       1)
      
      
    
     
     
  22. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       new_train_data = pd.concat([new_predict_y,new_train_y]) 
      
      
    
     
     
  23. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  24. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data_x = new_train_data[features]
      
      
    
     
     
  25. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       train_data_y = train_data[
       
       'label']

3. 实验对比

（1）评测指标

选取F1 score进行评测。


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       def countF1(train, predict):
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           count = 
       
       0 
       
       # 统计预测的正确的正样本数
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       for i 
       
       in range(len(train)):
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
            
       
       if predict[i] == 
       
       1 
       
       and train[i] == 
       
       1:
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
                   count += 
       
       1
      
      
    
     
     
  6. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           pre =  count * 
       
       1.0 / sum(predict) 
       
       # 准确率
      
      
    
     
     
  7. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           recall =  count * 
       
       1.0 / sum(train) 
       
       # 召回率
      
      
    
     
     
  8. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
        
       
       return 
       
       2 * pre * recall / (pre + recall)

（2）对比结果

填充方式训练集_F1测试集_F1
默认值00.705167170.59689922
均值（mean）0.701863350.67768595
中位数(median)0.708268330.67479675
众数(mode)0.704791340.68852459
上一个数据（pad）0.704097120.62711864
下一个数据（bfill）0.669811320.60169492
插值0.690184050.61333333
KNN_30.710769230.66393443
KNN_60.708978330.68852459
KNN_100.704791340.68032787
随机森林_feature30.5714285710.4
随机森林_feature460.5851393190.41509434

（3）实验小结

对于缺失值的处理，除了直接删除缺失严重的特征外，还可以选择各种各样的填充方法。对于每一种填充方式而言，都有其适用的场景，没有绝对的好坏之分，因此在做数据预处理时，要多尝试几种填充方法，选择表现最佳的即可。

 

本文完整代码已上传至git(https://github.com/AHNU/fill_missing_values)

参考文献

1. 训练模型填充空值(fill null)的几种方法

2. https://www.kaggle.com/pmarcelino/comprehensive-data-exploration-with-python

Sunshine_502
关注
  • 0
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
缺失值填充的几种方法
JingYi的专栏
09-12 9万+
面试不仅仅是一个找工作的过程，还是一个向面试官交流学习的过程。之前的某次面试中，聊到了缺失值填充方法，经面试官指点学到了一些技能，下面简要总结一下。 常见的缺失值填充方法有填充默认值、均值、众数、KNN填充、以及把缺失值作为新的label通过模型来预测等方式，为了介绍这几种填充方法的使用以及填充效果，本文将在真实数据集上进行简单比较。 1. 数据集介绍 数据集来源于天池精准医疗大赛——人工...
python数据预处理（1）———缺失值处理
12-21
2. 前（后）值填充：`df['列名'].fillna(method)`，`method`参数可以是`'pad'`（向前填充，用前一个非缺失值填充）或`'backfill'`（向后填充，用后一个非缺失值填充）。这种方法适用于时间序列数据，或者特征值具有...
数据分析--缺失值填充的几种方法
sinat_37935727的博客
03-18 2万+
常见的缺失值填充方法有填充默认值、均值、众数、KNN填充、以及把缺失值作为新的label通过模型来预测等方式，为了介绍这几种填充方法的使用以及填充效果，本文将在真实数据集上进行简单比较。 1 数据集介绍: 数据集来源于 天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测。该数据集共有1000条数据，特征共83维，加上id和label共85列，每维特征缺失数量范围为0~911。为了简单比较各种填充方...
缺失值处理----缺失值填充方法总结
世上再无张显宗
10-01 1万+
我们在进行模型训练时，不可避免的会遇到某些特征出现空值的情况，下面整理了几种填充空值的方法 1. 用固定值填充 对于特征值缺失的一种常见的方法就是可以用固定值来填充，例如0，9999， -9999, 例如下面对灰度分这个特征缺失值全部填充为-99 data['灰度分'] = data['灰度分'].fillna('-99') 2. 用均值填充 对于数值型的特征，其缺失值也可以用未缺失数据的均值填充，下面对灰度分这个特征缺失值进行均值填充 data['灰度分'] = data['灰度分'].fillna(d
面经｜缺失值填补的7种方法（使用场景+Python代码）
二哥为啥不像程序员？
05-06 2万+
七种缺失值的处理方法
收入预测：预测居民年收入是否会超过5万美元
最新发布
01-06
由于缺失值的数量较多且为离散类型，研究者选择了替代法处理，可能的方法包括用众数、中位数或平均数填充。 - **处理重复值**：检查到数据中有24条重复记录，这些重复值被删除，以避免影响后续分析的准确性。 2. *...
TitanicML：预测乘客生存率的简短项目
02-14
这包括处理缺失值（如用平均值、中位数或众数填充缺失的年龄、票价等数值型数据），编码分类变量（如将性别转换为二进制编码，船票等级和登船港口转换为数字），以及标准化或归一化数值特征以消除量纲影响。...
基于简单模型KNN——泰坦尼克号获救分析
12-20
在实际操作中，我们还需要进行数据预处理，包括处理缺失值（如用平均值、中位数或众数填充年龄缺失值），编码分类特征（如将性别转换为数值），以及可能的特征工程，如创建新的特征`Family_Size`，它表示乘客的家庭...
数据处理之缺失值填充
12-21
点赞、关注再看，养成良好习惯 Life is short, U need Python 初学Python，快来点我吧 1. 概述 首先对数据缺失的原因、类型以及处理方法做一个简单地总结，如下图所示： 2. 直接删除法 当缺失值的个数只占整体很小一部分的时候，可直接删除缺失值（行）。但是如果缺失值占比比较大，这种直接删除缺失值的处理方法就会丢失重要信息。 直接删除法处理缺失值时，需要检测样本总体中缺失值的个数。Python中统计缺失值的方法如下（下面结合具体数据集，直接上代码）： import numpy as np import pandas as pd data = pd.read_c
python实现数据预处理之填充缺失值的示例
09-20
下面小编就为大家分享一篇python实现数据预处理之填充缺失值的示例。具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【推荐收藏】这8个常用缺失值填充技巧一定要掌握
Python学习与数据挖掘
06-25 7182
在诸多数据问题中，我们不可避免会碰到数据出现缺失的情况，可能是因为记录数据时候的失误，也有可能是数据本身就没有（例如一些资料用户没有填充，或者股票停牌了，那么那天的交易记录就是为空的）。对于这些缺失值的处理对于模型最终的预测可能起到至关重要的作用，因为缺失的数据会导致：数据集失真：大量缺失的数据可能导致变量分布失真，可能增加或减少数据集中特定类别的值。影响最终模型的训练预测：缺失的数据会导致数据集中出现偏差，并可能导致模型训练和预测有偏差。本文我们介绍竞赛中常见的缺失值填充技巧。喜欢记得收藏、关注、点赞。注
数据缺失值填补
weixin_41512727的博客
10-15 6009
缺失值填充方法包括简单填充、属性填充和实例填充三种类型，本文主要研究属性填充方式。 填充依赖原始数据的单一或少量属性维度，利用属性间的关系或属性潜在的规则对缺失值进行填充。 常用的属性填充方法有:基于回归分析、信息增益、灰色预测的方法和EM 算法等。 基于回归分析的填充方法通过拟合回归数学模型计算缺失值，该方法仅适用于满足确定数学模型的数据集;基于信息增益的方法，依据与缺失数据关联密切的属性...
python做数据分析时缺失值填补、缺失值填充方法汇总
热门推荐
theskylife的博客
11-29 7万+
在我们进行数据分析时，通常会遇到各种数据缺失的情况，针对这种情况我们该如何进行填补呢？ 1、人工填补 该方法仅适用于小数据集，受个人因素影响。 2、平均值填补 对某一列的缺失值，采用该列的平均值填充 df.fillna(method=a.mean(),inplace=True) 此处重点讲解一下fillna的参数，后面不做说明 fillna(value=None, method=...
数据分析之缺失值填充（重点讲解多重插值法Miceforest）
weixin_50918736的博客
05-24 1万+
数据分析之缺失值填充（重点讲解多重插值法Miceforest） 数据分析的第一步——数据预处理，不可缺失的一步。为了得到更好的结果，选择合适的数据处理方法是非常重要的！ 数据预处理之缺失值填充 在大数据样本时，缺失少量的数据时，可以选择直接剔除，也可以按照某种方法进行填充。在小数据样本时，只能选择填充缺失值。 缺失值填充的常用方法：均值填充、众数填充、多重插值法（更适用于多模态数据，例如医学数据）、K近邻填充、回归/分类预测填充（线性回归、非线性回归、随机森林等多种机器学习方法，或神经网络）。常用且简单的方
填补缺失值
Cupid_kl的博客
07-26 94
用SimpleImputer来填补缺失值需要导包from sklearn.impute import SimpleImputer #填补缺失值的类。
R语言代码：用众数填充 Embarked 中的缺失值
06-08
可以使用以下 R 语言代码来使用 Embarked 列的众数来填充缺失值： ```R # 读取数据 data <- read.csv("train.csv") # 计算 Embarked 列的众数 mode <- names(sort(table(data$Embarked), decreasing = TRUE))[1] # 用众数填充 Embarked 列的缺失值 data$Embarked[is.na(data$Embarked)] <- mode # 检查 Embarked 列是否还有缺失值 sum(is.na(data$Embarked)) ``` 这段代码首先读取了一个名为 `train.csv` 的数据文件。然后，使用 `table()` 函数计算了 Embarked 列的众数，并将其存储在变量 `mode` 中。接下来，使用逻辑向量来定位 Embarked 列的缺失值，然后将其替换为 `mode` 的值。最后，使用 `sum()` 函数检查 Embarked 列是否还有缺失值。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值