不多说,直入主题,直接导入相关模块和内容。
import numpy as np
import pandas as pd
from pandas import Series, DataFrame
%matplotlib inline
处理缺失值
查看缺失值
先来新建一个DataFrame对象。
然后,我们用DataFrame对象的isnull()和notnull()方法查看缺失值。
显然,这样子做并没有什么明显的实际意义,通常我们会配合sum()函数来使用。
当然,我们还可以像下面这么用,直接得出缺失值的数量。
还有一个查看缺失值的方法,就是使用下面的语句:
df1.info()
至于是什么效果,我就不说了,你可以自己试试。
删除缺失值
删除,我使用dropna()方法实现的。
注意,在这里可以给它传入一个how='all’参数。然后,它就会只删除那些全部是Nan的行。
我们来新建一个如下所示的DataFrame对象。
还是那句,代码我就不贴了,你是时候尝试着手动的创建数据了。
补充缺失值
我们先来回顾一下DataFrame对象具体是什么内容。
然后,通过fillna()方法补充缺失值。
上面是直接修改的,并没有在原来的对象中保存修改。要做到这一点,我们要使用一个inplace参数。
当然,我们可以指定补充的方法。
移除重复数据
首先,新建一个DataFrame对象。
代码如下:
data = {
'name':['小明', '小红', '小黑', '小明'],
'sex':['female', 'male', 'female', 'female'],
'year':[1998, 1998,1997,1998],
'height':['180cm', '165cm', '170cm', '180cm']
}
df3 = DataFrame(data)
df3
自动识别重复数据并做到删除,我们要借助一个duplicated()方法。
这样子删除,显然是不人性化的。我们可以通过指定部分列作为判断重复数据的依据。具体方法是使用drop_duplicates()方法。
我们还可以指定保留哪个重复的数据项。具体方法时通过keep参数实现的。