python数据分析-Pandas数据清洗

数据的格式请参考前面Pandas常见操作中数据的格式。

数据清洗

（1）重复值的处理
重复值一般采取删除法来处理。
但有些重复值不能删除，例如订单明细数据或交易明细数据等。
data[data.duplicated()] #判断重复数据并取出。data.duplicated(subset=[‘列二’,‘列三’],keep=‘first’),以某几个元素判断是否重复，保留第几个。
data.drop_duplicates() #删除重复值。data.duplicated(subset=[‘列二’,‘列三’]),以某几个元素判断重复值来删除，返回视图。

（2）缺失值处理
缺失值首先需要根据实际情况定义。
可以采取直接删除法。
有时候需要使用替换法或者插值法。
方法：替换法（均值替换、前项和后项替换、常数替换）

(3)异常值的处理
指那些偏离正常范围的值，不是错误值。
异常值出现频率低，但又会对实际项目分析造成偏差。
异常值往往采取盖帽法或者数据离散化。
异常值判断：
1、均值的正负两个标准差之外属于异常值。
data_mean = data[‘列四’].mean() #求均值
data_std = data[‘列四’].std() #求标准差
data_mean + 2data_std #上限
data_mean - 2data_std #下限
any(data[‘列四’]>data_mean + 2data_std)
any(data[‘列四’]<data_mean + 2data_std)
data[‘列四’].plot(kind=‘hist’)
2、箱型图求得均值、中位数、上四分位数和下四分位数，上四分位数减去下四分位数得到分位差，上四分位数加1.5倍分位差为上界，下四分位数加1.5倍分位差为下界，在界外的为异常值(离群点)。
Q1 = data[‘列四’].quantile(0.25) #求下四分位数
Q3 = data[‘列四’].quantile(0.75) #求上四分位数
IQR = q3 - q1 #求分位差
any(data[‘列四’] > q3 + 1.5IQR)
any(data[‘列四’] > q1 - 1.5IQR)
data[‘列四’].plot(kind=‘box’)

缺失值处理

np.sum(data.isnull())  #查看每列缺失值的个数。
data.apply(lambda x: sum(x.isnull())/len(x),axis=0)  #查看每列数值的缺失率。
data.dropna(how='any',axis=0)  #删除有缺失值的行。any指无论哪一列只要存在缺失值就删除该行，all指必须全行都是缺失值才删。
data.drop(labels=['列八','列九'],axis=1)  #删除DF的列。
data.dropna(subset=['列二','列三'],how='any')  #删除指定列含有缺失值的行。
data['列五'].fillna(data['列五'].median())  #利用中位数填补缺失值，（.mean）有时会受极值影响，所以一般用中位数。
data.rename(columns={'列三':'gender'},inplace=True)  #先修改一下列名，方便用另一种方式展示。
data.gender.mode()[0]  #性别一般用众数替换，众数有时可能是多个，所以取第一个【0】。
data.gender.fillna(data.gender.mode()[0])  #用众数替换性别中的缺失值。
data.fillna({'gender':data['gender'].mode()[0],'列五':data['列五'].median()})  #上面填补的内容都可以放在字典中映射进去。
data.fillna(method='ffill')  #前项填补,（bfill后项填补）
data['列六'] = data['列六'].interpolate(method='polynomial',order=2)  #linear线性插值，polynomial

异常值的处理

用四分位数处理

data['列四'].describe()
Q1 = data['列四'].quantile(0.25) #求下四分位数
Q3 = data['列四'].quantile(0.75) #求上四分位数
IQR = Q3 - Q1 #求分位差 
UL = Q3 + 1.5*IQR  #求出上限值
replace_value = data['列四'][data['列四']< UL].max()  #求出小于上限的最大值。
data.loc[data['列四'] > UL,'列四'] = replace_value  #用小于上限的最大值替换超出上限的值。

#===============================================================================================================================

###用1%和99%分位数处理
P1 = data['列四'].quantile(0.01)  #1%分位数
P99 = data['列四'].quantile(0.99)  #99%分位数
data.loc[data['列四'] > P99,'列四'] = P99  #超过99分位数的用99分位数替换
data.loc[data['列四'] < P1,'列四'] = P1  #小于1分位数的用1分位数替换

数据离散化

#等宽分段
data['列十二'] = pd.cut(data['列四'],4,labels=range(1,5))  
#等平分段
k = 4
w = [i/k for i in range(k+1)]  #[0到0.25一段，0.25到0.5一段，0.5到0.75一段，0.75到1.0一段]
data['列十二'] = pd.qcut(data['列四'],w,labels=range(0,4))
data['列十二'] = pd.cut(data['列十二'],k,labels=range(0,4))