python数据清洗常见操作方法代码,导入表格

import pandas as pd
pd.set_option(‘display.unicode.ambiguous_as_wide’,True)
pd.set_option(‘display.unicode.east_asian_width’,True)#这两行对齐列名
pd.set_option(‘display.width’,180)#设置打印宽度///重要

##显示所有列

pd.set_option(‘display.max_columns’, None)

##显示所有行

pd.set_option(‘display.max_rows’, None)

df=pd.read_excel(“data/朝阳区药品销售数据.xlsx”)

print(df)

#数据清洗
#1.判断和处理空值 2.处理重复值, 3.处理异常值

print(pd.isnull(df).sum())#统计缺失值

print(pd.notnull(df).sum())#统计非缺失值

#删除

df.dropna(how=“all”,thresh=3)#thresh=3查值,空值超过3个才删除行或列

print(“原数据形状”,df.shape)