机器学习特征工程：处理缺失值填充的5大技巧

大家好，本文分享Pandas中缺失值填充的5大技巧：

• 填充具体数值，通常是0

• 填充某个统计值，比如均值、中位数、众数等

• 填充前后项的值

• 基于SimpleImputer类的填充

• 基于KNN算法的填充

数据

import pandas as pd  
import numpy as np  
df = pd.DataFrame({  
    "A":list(range(1,9)),  
    "B":list(range(5,13)),  
    "C":list(range(9,17))})  
  
df  

设置空值

df.iloc[0,2] = np.nan  
df.iloc[2,0] = np.nan  
df.iloc[3,1] = np.nan  
df.iloc[6,1] = np.nan  
df.iloc[7,2] = np.nan  
  
df  

统计空值个数

# 统计每列下空值的个数  
df.isnull().sum()  

A    1  
B    2  
C    2  
dtype: int64  

df[(df.isnull()).any(axis=1)]  

技术提升

文中详细代码、数据、技术交流提升，均可加交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友

方式①、添加微信号：dkl88191，备注：来自CSDN
方式②、微信搜索公众号：Python学习与数据挖掘，后台回复：加群

方法1：填充具体数值

df.fillna(0)  # 一般是填充0  

df.fillna(33)  # 填充其他数值  

方法2：填充统计值

df1 = df.copy()  # 方便演示，生成副本  

df1["A"].mean()  

4.714285714285714  

(1+2+4+5+6+7+8) / 7  

4.714285714285714  

# 每列的空值填充各自的均值  
  
for column in df1.columns.tolist():  
    m = df1[column].mean()  # 列均值：mean可以改成max、min、mode等  
    df1[column] = df1[column].fillna(m)  # 填充每个列  
df1  

方法3：前后项填充

df2 = df.copy()  # 生成副本  
df2  # 替换前  

# 1、前项填充 f-forward  
df2.fillna(method="ffill",axis=0, inplace=True)  # 原地替换  
  
df2  

# 2、后项填充 b-back  
df2.fillna(method="bfill",axis=0, inplace=True)  
  
df2  # 替换后  

方法4：SimpleImputer类填充（单变量）

sklearn.impute.SimpleImputer (missing_values=nan,   
                              strategy=’mean’,   
                              fill_value=None,   
                              verbose=0,  
                              copy=True)  

• missing_values：int, float, str, (默认)np.nan或是None, 指明缺失值长什么样子

• strategy：空值填充的方法

• mean：均值，默认

• median：中位数

• most_frequent：众数

• constant：自定义的值，必须通过fill_value来定义。

• fill_value：str或数值，默认为Zone。当strategy == “constant"时，fill_value被用来替换所有出现的缺失值（missing_values）。fill_value为Zone，当处理的是数值数据时，缺失值（missing_values）会替换为0，对于字符串或对象数据类型则替换为"missing_value” 这一字符串。

• verbose：int，（默认）0，控制imputer的冗长。

• copy：boolean，（默认）True，表示对数据的副本进行处理（原数据不改变），False对数据直接原地修改。

• add_indicator：boolean，（默认）False，True则会在数据后面加入n列由0和1构成的同样大小的数据，0表示所在位置非缺失值，1表示所在位置为缺失值。

from sklearn.impute import SimpleImputer  

# 案例1  
df3 = df.copy() # 副本  
  
# 使用impute.SimpleImputer类进行缺失值填充前，将其实例化  
df3_mean = SimpleImputer(missing_values=np.nan, strategy='mean')   # 均值  
df3_mean.fit_transform(df3)  # 结果是numpy数组  

array([[ 1.        ,  5.        , 12.5       ],  
       [ 2.        ,  6.        , 10.        ],  
       [ 4.71428571,  7.        , 11.        ],  
       [ 4.        ,  8.16666667, 12.        ],  
       [ 5.        ,  9.        , 13.        ],  
       [ 6.        , 10.        , 14.        ],  
       [ 7.        ,  8.16666667, 15.        ],  
       [ 8.        , 12.        , 12.5       ]])  

df3  # 不是原地修改，df3不会改变  

# 案例2  
  
df3_mean = SimpleImputer(  
    missing_values=np.nan,   
    strategy='median',  # 中位数  
    copy=False  # 直接原地修改  
    )   
  
df3_mean.fit_transform(df3)  

array([[ 1. ,  5. , 12.5],  
       [ 2. ,  6. , 10. ],  
       [ 5. ,  7. , 11. ],  
       [ 4. ,  8. , 12. ],  
       [ 5. ,  9. , 13. ],  
       [ 6. , 10. , 14. ],  
       [ 7. ,  8. , 15. ],  
       [ 8. , 12. , 12.5]])  

df3  # df3已经改变  

# 案例3：不同的列采取不同策略填充  
  
df4 = df.copy()  
  
#均值  
df_mean = SimpleImputer(missing_values=np.nan, strategy='mean',copy=False)  
#中位数  
df_median = SimpleImputer(missing_values=np.nan, strategy='median',copy=False)  
#常数0  
df_0 = SimpleImputer(strategy="constant",fill_value=0,copy=False)  
#众数  
df_most_frequent = SimpleImputer(missing_values=np.nan, strategy='most_frequent',copy=False)  

df4["A"] = df_mean.fit_transform(df4["A"].values.reshape(-1,1))   # 均值  
df4["B"] = df_median.fit_transform(df4["B"].values.reshape(-1,1))  # 中位数  
df4["C"] = df_most_frequent.fit_transform(df4["C"].values.reshape(-1,1))  # 众数  
  
df4 # 原地修改  

方法5：基于KNN填充

from sklearn.impute import KNNImputer  
df5 = df.copy()  
df5  # 填充前  

# 最近的3个邻居，使用的是3者的均值  
  
impute = KNNImputer(n_neighbors=3)   
impute.fit_transform(df5)  

array([[ 1.        ,  5.        , 11.        ],  
       [ 2.        ,  6.        , 10.        ],  
       [ 2.33333333,  7.        , 11.        ],  
       [ 4.        ,  7.33333333, 12.        ],  
       [ 5.        ,  9.        , 13.        ],  
       [ 6.        , 10.        , 14.        ],  
       [ 7.        , 10.33333333, 15.        ],  
       [ 8.        , 12.        , 14.        ]])  

填充值如何计算得来：

print((1 + 2 + 4) / 3)  
  
print((6 + 7 + 9) / 3)  
print((9 + 10 + 12) / 3)  
  
print((10 + 11 + 12) / 3)  
print((13 + 14 + 15) / 3)  

2.3333333333333335  
7.333333333333333  
10.333333333333334  
11.0  
14.0