20.数据预处理之重复值处理

• 数据清洗一般是现从重复值和缺失值开始处理的
• 重复值一般采用删除法来处理
• 但有些重复值不能删除，例如订单明细数据或交易明细数据等

#使用duplicated()方法判断数据是否重复
df[df.duplicated()]
np.sum(df.duplicated())
df.drop_duplicates()
df.drop_duplicates(subset=['appname','size'],inplace=True)

#实操
import pandas as pd
import numpy  as np
import os

os.chdir(r'your path')
#na_values:把某一个值转化为空字符串，na_values='Man'，将数据Man转化为缺失值NaN
df=pd.read_csv('yourFile.csv',encoding='gbk',na_values='Man')
df.head(10)

#将$134.987转化为134987
def f(x)
    if '$' in str(x):
        x=str(x).strip('$')
        x=str(x).replace(',','')
    else:
        x=str(x).replace(',','')
    return float(x)

df['Price']=df['Price'].apply(f)
#对每一行进行判断，是否有重复值，返回bool向量
df.duplicated()
#只要有一个重复值，即返回True
any(df.duplicated())

#输出重复的行数据
df[df.duplicated()]
#重复的数据的个数
np.sum(df.duplicated())

#除去重复数据后的数据的视图
df.drop_duplicated()

#除去重复数据后的数据的文件
df.drop_duplicated(inplace=True)

#
df.columns

#判断指定的字段直接是否有重复值
df.drop_duplicates(subset=['Id','Sex','Price','Location'],inplace=True)

df.info()