特征工程之数据预处理-重复值缺失值及异常值处理

#重复值处理
import pandas as pd
data=pd.DataFrame([[1,2,3],[1,2,3],[4,5,6]],columns=['c1','c2','c3'])
data.head()
data[data.duplicated(keep='last')]#可以用duplicated()函数来查询重复的内容
data.duplicated().sum()#统计重复行的数量，可以用sum()函数
data=data.drop_duplicates()#用drop_duplicates()函数删除重复行
data=data.drop_duplicates(subset='c1')#按列进行去重，例如，c1列出现重复的内容，就将重复内容所在的一整行删除

#缺失值处理
import numpy as np
import pandas as pd
data=pd.DataFrame([[1,np.nan,3],[np.nan,2,np.nan],[1,np.nan,0]],columns=['c1','c2','c3'])
data.isnull()#isnull()函数的作用是判断是否是空值，若是空值就赋予True，否则赋予False
data['c1'].isnull()#对单列查看空值
'''对于空值有两种常见的处理方式：删除空值和填补空值'''
#(1)删除
a=data.dropna()#只要含有空值的行都会被删除;也可以设置thresh参数，例如将其设置为n，表示如果一行中的非空值少于n个则删除该行
#(2)填补
b=data.fillna(data.mean())#也可以用data.median()或者空值上方或下方的值来填充