数据整理

数据整理

1、收集数据：

（1）下载

• 手动下载文件
• 以编程方式下载文件（可扩展性和重复性）

（2）打开Jupyter Notebook

在终端输入命令提示符。在这之前，应在运行命令的目录下开启Notebook服务器，将Notebook文件保存到指定目录下。在该目录下，我们更容易导入外部文件，比如下载的数据集。

（3）收集：解压压缩文件

1）将zip文件移动到工作目录（最好把所有文件放在同一个位置）；

2）python解压

import zipfile
with zipfile.Zipfile('xxx.zip', 'r') as myzip:
		myzip.extractall()

（4）导入

用pd.read_csv()，将解压的csv文件导入到pandas DataFrame。

2、数据评估

（1）数据属性

1）质量

低质量数据被称为脏数据。主要包括的问题如下：

• 数据丢失
• 数据无效，比如年龄实际应为正数，变成了负数，数据类型应为整数，变成了字符串。
• 数据不准确，比如实际体重为0.025公斤，而不是250公斤。
• 数据不一致，比如使用不同的长度单位。

2）整洁度

不整洁数据被称为杂乱数据，即存在结构问题。

具有条理的数据具有以下特征：

• 每个变量构成一列；
• 每个观察结果构成一行；
• 每种类型的观察单位构成一个表格。

（2）数据评估

1）目测评估

2）编程评估 ：.info、.head、.tail

3、数据清洗

（1）手动（不推荐）

（2）编程

1）定义：将评估转换为定义的清洗任务，这些定义可作为指令列表，方便回顾和重现自己的工作；

2）代码：将定义转换为代码并运行；

3）测试：可视或使用代码练习数据集，确保清洗操作可顺序进行。

4、重新评估与迭代

5、存储