机器学习 / 数据分析（一） (数据预处理 ——异常值和缺失值处理)

Pandas.

1. fillna(value) —— 补充缺失值

1. fillna(method='',inplace=Boolean) => pad(利用前面的值填充)、bfill(后面的值填充) inplace(是否替换原来的数据）

PS: pad = ffill | backfill = bfill

1.  均值填充

train['Age']=train['Age'].fillna(np.mean(train['Age']))

test['Age']=test['Age'].fillna(np.mean(train['Age'])) 

(测试集使用训练集均值处理)

1. -99填充

train.replace(to_replace = np.nan, value = -99)

(树模型比较常用)

1.  线性差值填充

 train.interpolate(method='linear')

1. 删除

dropna([how='all']) 删除 NaN 数据 (删除全部都是 NaN 的数据)

dropna(axis=0,how='any') 删除行（至少有一个NaN）

dropna(axis=1,how='ant') 删除列（至少有一个NaN）

1.  使用 sklearn.preprocessing(预处理) 中 Imputer （缺失值处理器）

新版 sklearn 中 Imputer 在 sklearn.imputer 中 SimpleImputer

imp = Imputer(missing_values='NaN',strategy='mean') # strategy 战略

imp.fit(train["Age"].values.reshape(-1, 1))将一维数组重置为 N(-1)行1列

imp.transform(train["Age"].values.reshape(-1, 1))

imp.transform(test["Age"].values.reshape(-1, 1)) # 测试集也需要

1.  查找 除去 异常值

DataFrame.hist(bins=100) 数据直方图   （ bins X轴数据跨度 ）

np.percentile(array,rate) => 求出Array中的rate百分位数  

即，大于array中rate%的数

move_data =

[np.percentile(train.Fare, 99) if d > np.percentile(train.Fare, 99) else d for d in train.Fare]