菊安酱【数据清洗】笔记

一、数据分析流程

1.确定数据分析的目的：明确的分析目的就像是瞄准了正确的靶心，才能使后续的动作有意义
2.获取数据：收集原始数据数据来源可能是丰富多样的格式也可能不尽相同
3.清洗数据：理顺杂乱的原始数据，并修正数据中的错误，这一步比较繁杂，但确是整个分析的基石
4.探索数据：进行探索式分析，对整个数据集有个全面的认识，以便后续选择何种分析策略
5.建模分析：常常用到机器学习深度学习等算法
6.结果交流：使用报告、图表等形式展现出来与他人交流

二、数据清洗常用方法：

数据的读写	pd.read_csv('文件路径‘) pd.read_excel('文件路径‘)
数据的探索与描述	df.info() df.describe()
数据简单处理	去除数据间的空格 英文字母大小写的转换
重复值的处理	duplicated（） drop_duplicates()
缺失值处理	删除缺失值 均值填补法 向前填充/向后填充（STOME） 模型填补法，如随机森林
异常值处理	删除异常值的记录 作为缺失值处理 平均值修正、盖帽法修正 不处理：业务分析挖掘价值
文本字符串处理	去除前后空格处理 处理中间有，（）之类的数据：replace(',','') 正则表达式提取所需数据
文本字符串处理	将系统时间格式化 系统时间和时间戳相互转换 年月日的提取

异常值处理

用 df.discribe().T 查看数据情况

三、实例

略，可自行去b站查看相关视频 【Python 数据清洗】用Python给数据洗澡澡~ |数据分析|数据清洗|数据预处理|_哔哩哔哩_bilibili