当我们拿到数据的时候,总会发现数据并不是我们理想中的数据,这时候就要进行数据清洗。
缺失值填充
- 平均值 将目前全部数据的平均值直接填充。
- 回归模型预测
- 剔除掉 当缺失值的数量过多,可以考虑直接剔除掉这列数据。
平均值填充进阶
以年龄为例。
可以根据姓名列的称呼求取平均值。
新建一列称呼列(call),如Miss,Mr,Mrs等,将人数较多的单独归类,人数较少的结合起来叫others。
求出Miss的平均值填充
data.loc[(data.age.isnull()&data.call == 'Miss'),'age'] == 20