数据分析--Python常用数据预处理方法

【常用方法】

查看数据缺失

data.isnull() #缺失返回True
(data.isnull).sum	#返回缺失条数

查看重复数据

data.duplicated() #与之前数据重复的行返回True
'''参数 subset = ['obj1','obj2'] '''#对obj1,obj2这两列进行查重	
(data.duplicated()).sum #汇总重复的条数

数据排序

data.sort_values() #可以将Nan值默认排到后面，以便删除
'''
	参数 by = 'obj1' #对obj1这一列进行排序
	参数 inplace = True #这样将直接修改数据
'''

删除重复数据

data.drop_duplicates() #删除重复数据
'''参数 subset = ['obj1','obj2']''' #将obj1,obj2这两列的重复值删除

字符串是否包含某些字符

data.obj1.str.contains('str1') #obj1这一列是否有包含str1这个字符串的项

【几种简单填充缺失值的方法】

固定值填充

# 都填90
df['taixin'] = df['taixin'].fillna('90')

均值填充

# 数据需是int或float类型
df['taixin'] = df['taixin'].fillna(df['taixin'] .mean())

众数填充

# 数据需是int或float类型
df['taixin'] = df['taixin'].fillna(df['taixin'] .mode()) 

上下数据填充

# 用前一个非缺失值填充
 df['taixin'] = df['taixin'].fillna(method='pad') 

# 用后一个非缺失值填充
 df['taixin'] = df['taixin'].fillna(method='bfill') 

插值法填充

#前后非缺失值的均值填充
 df['taixin'] = df['taixin'].interpolate()