数据清洗（二）——缺失值处理

使用sklearn.preprocessing.Imputer类来填补缺失值

本篇旨在记录 Imputer类的简单用法，不列举所有使用方法，知道怎么用Imputer类来填补缺失值就可以了。

以数据集本身为基础填补缺失值

import numpy as np
from sklearn.preprocessing import Imputer

x = np.array([[2, 2, 5, 4, 4,np.nan, 5, 7, 8, 9],
              [1, 2, np.nan, 5, 8, 3, 6, np.nan, 5, 7],
              [np.nan, 7, 5, 3, 3, np.nan, 4,np.nan,6,7]])
x = x.transpose()
imput = Imputer(strategy='mean')    
# 填充方式，支持三种，mean(均值)，median（中位数），most_frequent（众数），默认mean，axis=0
new_x = imput.fit_transform(x)
new_x
[out]
array([[ 2.        ,  1.        ,  5.        ],
       [ 2.        ,  2.        ,  7.        ],
       [ 5.        ,  4.625     ,  5.        ],
       [ 4.        ,  5.        ,  3.        ],
       [ 4.        ,  8.        ,  3.        ],
       [ 5.11111111,  3.        ,  5.        ],
       [ 5.        ,  6.        ,  4.        ],
       [ 7.        ,  4.625     ,  5.        ],
       [ 8.        ,  5.        ,  6.        ],
       [ 9.        ,  7.        ,  7.        ]])

此处为简单介绍Imputer类的用法，其还可以以一个训练集去训练其实例，然后以训练集的值来填补新的数据集的缺失值。

以A数据的标准来填补B数据的缺失值

import numpy as np
from sklearn.preprocessing import Imputer

a = np.array([[1, np.nan, 3],[np.nan, 3, 5],[7,9,np.nan]])
b = np.array([[4, 7, np.nan],[1, np.nan, 9], [3,8,5]])

imput = Imputer()
imput.fit(a)
new_b = imput.transform(b)
new_b
[out]
array([[ 4.,  7.,  4.],
       [ 1.,  6.,  9.],
       [ 3.,  8.,  5.]])

这种方式是先用A的数据集来训练一个Imputer的实例，A可以包含缺失，也可以不包含。然后再用该值去填补B的缺失值。