Python数据分析07——数据清洗（一）

不多说，直入主题，直接导入相关模块和内容。

import numpy as np
import pandas as pd
from pandas import Series, DataFrame
%matplotlib inline

处理缺失值

查看缺失值

先来新建一个DataFrame对象。

然后，我们用DataFrame对象的isnull()和notnull()方法查看缺失值。

显然，这样子做并没有什么明显的实际意义，通常我们会配合sum()函数来使用。

当然，我们还可以像下面这么用，直接得出缺失值的数量。

还有一个查看缺失值的方法，就是使用下面的语句：

df1.info()

至于是什么效果，我就不说了，你可以自己试试。

删除缺失值

删除，我使用dropna()方法实现的。

注意，在这里可以给它传入一个how='all’参数。然后,它就会只删除那些全部是Nan的行。
我们来新建一个如下所示的DataFrame对象。

还是那句，代码我就不贴了，你是时候尝试着手动的创建数据了。

补充缺失值

我们先来回顾一下DataFrame对象具体是什么内容。

然后，通过fillna()方法补充缺失值。

上面是直接修改的，并没有在原来的对象中保存修改。要做到这一点，我们要使用一个inplace参数。

当然，我们可以指定补充的方法。

移除重复数据

首先，新建一个DataFrame对象。
代码如下：

data = {
    'name':['小明', '小红', '小黑', '小明'],
    'sex':['female', 'male', 'female', 'female'],
    'year':[1998, 1998,1997,1998],
    'height':['180cm', '165cm', '170cm', '180cm']
}
df3 = DataFrame(data)
df3

自动识别重复数据并做到删除，我们要借助一个duplicated()方法。

这样子删除，显然是不人性化的。我们可以通过指定部分列作为判断重复数据的依据。具体方法是使用drop_duplicates()方法。

我们还可以指定保留哪个重复的数据项。具体方法时通过keep参数实现的。