数据清洗步骤及常用的方法

流程

确定数据分析目的-获取数据-清洗数据-探索数据-建模分析-结果交流
探索数据：对整个数据集有全面的认识，一边后续开展工作
建模分析：常常用到机器学习、深度学习算法
结果：使用报告、图表展示数据，将成果与他人分享
脏数据：重复、残缺、错误数据、不符合规则的数据（噪声数据）
分为数据的读写、数据的探索与描述、数据简单处理、重复值处理、缺失值处理、异常值处理、文本字符串的处理、时间格式序列的处理。除了前三个以外顺序可以调整。

数据读写

pd.read_csv()
pd.read_excel()

数据的探索与描述

df.info()
df.head()
df.shape
df.describe() #只显示数值型数据的描述统计

数据简单处理

• 去除数据间的空格
  • 列表推导式
    df.columns = [x.strip() for x in df.columns.str]
  • df.columns = df.columns.str.strip()

英文字母大小写转换

重复值处理

duplicated() #分为两种，一种是前面的是True，一种是后为True
drop_duplicates() #不在原数据集上改变，需要加inplace参数

去除掉重复行后，要进行索引重置

• df.index = range(df.shape[0])