Python数据清洗函数总结

一、数据清洗

// 读取csv文件
data = pd.read_csv('xxx.csv', encoding='gbk')
//查看列数、列名、列数据量、列格式等
data.info()

删除重复记录drop_duplicates()

data.drop_duplicates(keep = 'xxx',inplace=True)
# keep保留xxx行

查看是否存在缺失值isnull()

data.isnull().sum()

删除缺失值dropna()

# 删除带有na的整行数据
data.dropna(axis=0,how='any',inplace=True)
# axis=0,how='any'为默认值， how='all'为当整条记录所有字段均为na时。

删除非必要列drop()

data.drop(columns=['xxx'], inplace=True,axis=n)
#axis为按列删除第n列，列号为0,1,2,3......

更新索引reset_index()

# 删掉原索引，重置索引
data.reset_index(drop=True,inplace=True)

异常值处理

异常值：存在0值、数据标准差std在均值mean八倍以上等

# 查看数据 count、mean、std、min、25%、50%、75%分位数、max
data.describe()

更新数据类型

推荐使用to_numeric()，小心使用astype()，可以尝试使用infer_objects()。