数据预处理——均值填充缺失值+归一化

数据预处理——均值填充缺失值+归一化

概述

数据预处理中，将所有缺失的值替换为相应特征的平均值。为了将所有特征放在一个共同的尺度上， 通过将特征重新缩放到零均值和单位方差来标准化数据：
x=(x-x.mean())/x.std()

代码

假设存在数据：

data = pd.DataFrame([10,5,20,None,80],columns=['col'])

在对数据归一化时，往往会用到数据在该特征下的均值mean和标准差std，归一化后的均值为0，可用0填充缺失值：

normalize = data.apply(lambda x: (x - x.mean()) / (x.std()))
result = normalize.fillna(0)

归一化与填充顺序调换

归一化函数和fillna()的顺序会影响最终结果，若把顺序调换，则除了空缺值，其他值结果不同：

normalize = data.fillna(data.mean()).apply(lambda x: (x - x.mean()) / (x.std()))

因为在fillna()函数执行前后，作用于均值函数mean()和标准差函数std()的数据量不同，前后数据的标准差不同。

填充空缺值前，对于数据data，参与求均值和标准差的数据仅为4条非空数据。

print(data.mean(),"\n",data.std())

而填充空缺值之后，参与求均值和标准差的数据为5条，标准差偏小。

d1 = data.fillna(data.mean())
print(d1.mean(),"\n",d1.std())